实例分析:拉勾网数据分析,让数据决策你的行为
我们每天都在产生数据,出行,社交,购物,吃饭 等等,每一个行为伴随着数据的产生,如果将这些数据收集起来,并加以处理分析便可以反过来影响你的行为。
举个最简单的例子在各大电商网站搜索自己想买的商品,这一过程就产生了数据,电商网站会记录你所搜的商品数据,并稍作处理分析,基本就可以计算出你所需要购买的商品,
然后计算最合适你的商品,并以广告形式推送给你,最后你很有可能会从他推荐的商品中选一个付款,这个例子就形像的解释了,你是如何产生数据,而后数据又是如何影响你的行为的。
前些日子突然想到了如下几个问题:
在一线城市中 北京 上海 的薪水真的比深圳还高吗?
JAVA工资真的比.NET 的要高吗?
前端现在平均薪水大概是多少?
除了几个一线城市外,哪些二线城市是比较有潜力的?
市场上工作1-3年 3-5年经验的 薪水一般都是多少?
这些问题我想大家或多或少的都聊到过,但是却没有相应的数据来支撑你的想法,往往都只是聊聊就过了。基于以上的问题,我开始想通过数据来证实,想想还是通过招聘网站的数据来分析。
因为招人是企业真实的需求,企业的需求就代表的市场的需求,反过来企业发布的招聘信息一定会按当前市场行情来定,比如薪水当市场平均水平是 1-3年经验 7K 时 企业的发布招聘信息一会以市场行情做一个参考。
不然没有竞争力 招不到好的人才,必然会影响公司的发展。 这样这些发布的招聘信息还是具有一定的真实性的
一、 采集数据
1.1 拉钩网介绍
拉钩开通的城市暂时还只有如下几个城市,所以城市就抓取下图中的这些
岗位的话因为本文主要针对的是开发类的数据分析,所以只抓取开发的岗位信息
1.2 程序介绍
整个流程是这样的 先从拉钩取数据入,存入Redis队列,然后通过定时器把数据从Redis中取出通过Dapper(轻量级的ORM)存入DB,最后以图表形式展现出来。
所用到的一些东西 Redis ,Dapper, Sqlserver ,百度图表控件Echarts
1.Lagou 是一个控制台程序,主要用来抓取数据,并存入Redis
2.Lagou.Repository 抓到数据后的持久化与查询
3.Lagou.Web 将数据以图表形式展现
1.3 操作步骤
1.先把Redis安装并启动
2.在Lagou.Repository项目中运行sqlScript.sql脚本创建表,在DapperHelper.cs中配置好数据连接地址
3.把Lagou控制台设为启动项目并运行,结果如下图。 等所有城市下的职位都取完后,数据就抓取完成!
4.将Lagou.Web 项目设为启动项目并运行整个过程就结束了!
二 、分析数据
从图中可以看出 一线城市 北上深广 对人才的需求量是最大的
其中又以北京为第一,为什么北京会是第一呢? 首先 是地域特殊 是首都,其次 国内最早的一批互联网公司基本都在北京创立的带动了这一行业的发展,
同时也吸引了相应行业的人聚集,人的聚集又相应带动公司的聚集,两者相互影响使得北京成了互联网的主力军。
另外北京众所周知薪水 是各大城市中最高的,因为这一行业内的从业人员较多,相应优秀的人也会更多,优秀的企业也会更多,企业对优秀人才的渴望是从未满足过的,这种环境下自然后拉高行业的整体薪水
再说二线城市 排第一的杭州 我自己的想法 觉得是可能阿里巴巴带动的 当然政府的功劳肯定也是有的,但是如果没有阿里巴巴对整个行业的影响,当前的环境恐怕不是政府努力就能改变的。
1、为什么成都会排二线城市的第二呢?
1.事实上这两年有很多公司 承受不了一线城市发展的速度以及生存的压力与人力成本,就把公司迁到了节奏稍慢点的二线城市。
2.另外大的公司开始把业务做到的全国,开始在各个二线城市设立分公司,基本上互联网一梯队的公司都在二线城市有分部了。
3.政策方面,这两年成都政府在政策上进行了大力的扶持,而且扶持力度惊人。
所以这两年开始越来越多的公司开始把公司从一线城市迁到二线城市,或者扩展到二线。直接影响了成都互联网行业的快速发展
通过数据可看 一线城市 北上深广 未来仍是互联网行业的主力军。二线城市 杭州 成都 武汉 南京 是主力军 如果想从一线退到二线 这几个城市都是不错的选择。
2 、城市对某一职位的需求数
先看JAVA
JAVA在互联网这块的发展这几年明显超越了.NET 再加上 今年的互联网+ 概念导致了一大批的互联网公司掘起。在创业的初期,如何以最花最少的钱获得最大的效益成了初创公司都要考虑的问题。
其中就包括 人力(主要指招聘) 以及软件(开发工具的授权费用)。另外JAVA开源较早,开源社区提供了很多好的包而且支持跨平台,所以从图中可以看出 在一二线城市对拥有Java技能的人才,需求一直就很旺盛。
但是站在技术角度讲现在JAVA能做的.NET 都能做,而对于公司来说怎么活下去才是关键。
本人所在公司 15年就被微软发现使用了盗版软件,被要求买license如果整套环境都用正版至少得要上百万,最后死缠烂打也花了10多万才算解决这事儿
再说.NET
一线城市需求还是比较大的,城市之间的差距也不是很大,在一线城市中JAVA与.NET 需求量都相差不大,大致原因,应该还是一线城市公司的基数大,对.net,与JAVA 的需求都比较大。
但到了二线城市 反差就比较大了,.NET 数据 基本上不到一线城市的一半了,可能也是受互联网+的影响,其实本来和JAVA应该持平的,但是互联网+的概念一出大批的互联网公司起来。
考虑到之前说的公司成本问题,才导致对JAVA技能的人需求增加,还有一种可能是,近几年JAVA占市场比逐年增加导致.NET市场减少。
最后看看JavaScript
这一两年 JavaScript这一岗位可以说是发生了天翻地覆的变化,也使得 前端工程师 这一职位被独立出来各种优秀的前端框架也层出不穷。也从传统的pc浏览器到了移动端浏览器,
一线城市需求最大的还是 北京和上海 几乎是深圳和州各自的2倍了。
这也更加证明了北京是全国的互联网中心,随着移动互联网的迅速发展 各个城市的需求应该也会快速加大。
3 、城市对人才年限的需求数
可以看出来,不管是哪个城市 对1-3年 和3-5 年的人才 需求是最多的
这个其实很好解释,放到自己的工作环境来说基层员工和中层员工是生产力的大军,而高层只要几个,把控好方向与进度就行了.
剩下5-10年的 要么就是招的架构师级别的,要么就是工作岗位的要求需要至少5年以上的经验、
4 、同职位不同城市薪水对比
先解释点 拉勾发布的职位都是会带上薪水范围的,图中的彩色柱状条是对该薪水断的职位的总和。
先看JAVA
一线城市以 11-15k 的和16k-20k的 为主,然后是21k-25k的,而二线城市 则以 6k-10k的和11k-15k的为主,然后是16-20k 的 所以一线城市要比二线城市的薪水高一个梯队,这个大家也都是知道的,不做多的解释了。
.NET 的
最近总有人说搞.net 的工资没有搞JAVA的高,但都是以身边的人为例子而以数据缺乏准确定性。
通过图要可以看出
发布的JAVA职位在一线城市中 16k-20k的数量是要超过11k-15k的数量的,而二线城市中6k-10k与11k-15k的数量是不相上下的,而且还有不少16-20k职位
而.NET的职位 在一线城市中11k-15k的职位数量远超过16k-20k的数量 而二线城市中6k-10k的职位数据也是远超过11k-15k的职位数,而16k-20k的就更是寥寥无几了
通过两图对比可以看出 在一线城市 JAVA以11k-15k与16k-20k为主 且16k-20k的为主导,.NET也以11k-15k与16k-20k为主
但是却是以11k-15k为主,二线城市就更不用说,图一对比就懂了
结论也不用说了
5、 行业薪水分布
这两年移动互联网真的是飞速发展一不留神就从PC互联网转到了移动互联网了,猪在风口都被吹起来了,仅移动互联网行业的职位需求数据基本是其它行业的总和了,其次是电子商务 各种垂直电商,海淘也是这两年发展比较迅速的,互联网金融,15年也确实火 了一把,但是也坑了一把(各种跑路,以及被查),还有动不动就要颠覆传统行业的O2O 这些都是比较热门的行业,值得关注的两个行业是 企业服务,数据服务这两个行业,随着云计算,与大数据的 概念推出,越来越多的企业也开始进入这两个行业,说不定下一个 风口将从这里开始。
6、 不同融资阶段不同岗位薪水分布
原本想对比,公司处在不同的阶段薪水的差异,结果还是有点出人意料的,同一岗位下 不管处于 初创型 还成长型 对薪水的范围都基本是一致的。
也就是说不管公司的资本实力差距多大,对于人才的薪水基本还是和市场水平保持一致的,也证明了 企业如果想减少开支,通过降低薪水一措施是起不到任何作用的,反而会影响优秀的人才进来
7 、不同融资阶段对不同年限人才需求
公司招人 通常是两方面的主因
1.公司创立需要人员研发产品
2.公司业务扩展需要人员支持
所以图中可以看出 初创型的公司与成长型的公司为人才需求的主力军,还有一种情况值得关注那就是上市公司 为什么上市公司会有比较大的人才需求呢? 因为上市后有了资本的支持后,可以开始扩大自己的战线,
以增加公司的市值 为背后的资本家谋取更多的利润
相反成熟型的的公司业务基本稳定,在未上市前也没有多余的资本与精力来扩展其它业务,所以对人才的需求相对来说较小
通过对拉钩数据的简单分析,基本可以对我们的行为做出一定的指导,比如 想要高薪 在哪个一线城市的机会更大一点,如果想退到二线城市哪个城市的薪水差异不会与一线城市太大,学哪种语言出来后找工作会更容易一点,什么行业的公司薪水会更高一点
这些问题从上面的分析结果中都可以得到。记得阿里巴巴的CTO王坚说过:"数据本身是没有价值的,只有进行挖掘,分析后它才会产生价值",未来数据对生活的影响将会越来越大,人们将真正步入DT时代!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
以下文章来源于数有道 ,作者数据星爷 SQL查询是数据分析工作的基础,也是CDA数据分析师一级的核心考点,人工智能时代,AI能为 ...
2025-02-19在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-30