神刀安全网

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

文/寻找不同的蜜蜂

51 job作为全国发布招聘信息最大的网站之一,为应届生和在职人员提供很好的求职平台。只要在搜索窗里面输入目标职位,百至千页的招聘信息触手可及。

记得几年前找工作时,一页页翻,点进去看职位需求等等。遇到心仪职位(500强,高薪,出国机会等等),将职位名称、公司名称、薪水和网址拷贝到Excel中,最后,注明投简日期,做到对发出去简历跟进,也算是很好管理了简历的去向。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

51 job 信息板块

就像做项目一样,跟进每一份简历的时间节点,做到了如指掌。但是,仔细想想,这中间是否存在一些潜在问题?似乎,当时是没有觉察到。

仔细回想这个流程,发现,从网页拷贝这些招聘信息到Excel,累计至少200+职位。假如拷贝一次心仪职位的时间为20秒(职位名称、薪资、单位名称、地点和网址),那么就重复粘贴的时间就耗费66分钟。(实际情况,会比这个时间长)

这似乎是之前完全没有意识到的一件事情。查看几百个职位信息已经上限,几千页的信息也只能放弃。这个,我想找工作的你,深有感触。

在频繁粘贴之余,也曾发出过这样的感叹,要是这些信息,能直接汇总到Excel中,就好了。直接快速查看目标职位,遇到感兴趣职位,再去看具体信息。这不但极大提升信息的检索效率,而且有利于分析做出最终的选择。

但是,那时最想说的一句话:“别想这些没用的,赶快投简历!”

现在想想,这种人为翻网页,是无法最大化获取信息。换句话说,你在无形中已经丢失一些机会,说不定这些机会,会改变你的人生轨迹。

你也许会说,不就是一页页翻着看吗?那么,我想请问你,面对有2000+页的职位信息,你能看多少页?500+页可以封顶了吧!再往后看,你的耐心,最终,也会沦为烦躁。

1/ 信息获取

互联网时代,是一个信息过载的时代,我们每天被各种各样信息包裹。招聘信息科学全面获取,对你做出正确求职选择,有极其重要的作用。那么,怎样才能在极短时间,获取这些信息为你所用呢?

爬虫,或许,是当下,最有用的工具了!几行代码,爬取你想要的任何信息。一张excel表,记录你投递的所有职位。这是多么高效的事情。而且,通过可视化这些信息,还有意想不到的收获。

采用requests+beautifulsoup组合,通过for循环选择特定的信息,如抓取职位名称,CSS选择器可以写成p span a。需要注意的是,一定要区分子父节点之间的从属关系,否则无法找出想要的信息。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

信息获取

其实,爬取招聘信息,无外乎那几个步骤。写完一个,运行一下,看是不是你需要的信息。在获取文本后,会出现不需要的空格和换行。strip()和replace(“/n”,“”)可以将其去除,方便又简单。

就拿JAVA工程师职位为例,总共8700个职位,最终爬取到Excel表格中,这样可以清楚的看到每一项职位对应信息。真的,不要太方便。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

爬取数据汇总

但请注意,不要爬太狠,中间不休息,一口气爬个上千页,这样会产生大量的流量。影响其他用户。被检测出来,封IP的可能性非常大,慎重。

我的办法是,设置时间间隙,爬一页休息5-10秒,再继续。这样就很好的模拟用户浏览网页所打开网页的时间。(使用IP池这种高端手段,目前,还一脸懵,后面学习一下)

当拿着这份招聘手册,是不是一览众山小的感觉呢?挑出你的目标薪资/地区,再仔细查看招聘内容,这样会更高效。

2/ 数据可视化

面对这些大数据,难道就不想了解一下更为详细的信息?比如,各个行业招聘,哪些地区比较集中,需求更大?媒体中报道的一些行业,需求真的那么大?

数据可视化,将是一个非常犀利的工具。通过这个可视化模块,可以一览各个行业在全国各地的分布,这样你会有一个直观的认识,对后续选择判断,做出决策会有帮助。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

可视化模块

3/ 大数据分析

在本次分析中,爬取汽车行业2类职位(技术支持和结构设计),互联网2类职位(java工程师和测试工程师),房地产2类职位(室内设计和财务经理),金融行业2类职位(融资专员和金融分析),总计4个行业,8类职位,共计60000个岗位。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

4个行业,8类职位,共计60000个岗位

3.1/ 地理位置分布分析

1) 汽车行业

通过对汽车行业,2类岗位在全国分布可知,高密集区域在上海及其周边城市(以大于105为最低取值点)。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

技术支持岗位

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

结构设计岗位

2)互联网行业

通过对互联网行业,2类岗位在全国分布可知,高密集区域分布为:北京、上海和广州(以大于105为最低取值点),呈现三足鼎立的态势,构成了互联网行业的金三角。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

Java工程师岗位

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

测试工程师岗位

3)房地产

通过对房地产行业,2类岗位在全国分布可知,相比汽车和互联网行业,需求分布较为均匀(以大于105为最低取值点)。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

室内设计岗位

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

财务经理岗位

4)金融

通过对金融行业,2类岗位在全国分布可知,高密集区域分布为:上海和广州(以大于105为最低取值点)。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

融资专员

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

金融分析

3.2/ 行业所在城市分析

统计前提,8类职位中,只要有1类职位需求大于100, 则统计该职位所在城市。

全国有22个城市符合以上前提(排除异地招聘以及省名称命名地点)。可以明显看出,高需求的城市主要集中在上海、广州、深圳、北京、杭州、武汉和成都。其中,上海的需求遥遥临先,高达10000+。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

全国22城市,统计8个职位总需求分布

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

全国22城市,统计8个职位详细需求分布

1)一线城市

北京,主打互联网,约2000+个岗位(占4个行业总和50%以上),金融和汽车次之。

上海,汽车(3000+)、互联网(3000+)和金融(3000+)。进一步说明,上海的机会确实很多,就当前8类职位而言(10000 +),让很多城市无法PK。

广州和深圳对融资专员的需求高的惊人,共计6500+。换句话说,从事金融行业,去这两个城市打拼不会错。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

一线城市,需求汇总

2)部分新一线城市

成都,4个行业需求基本持平。

杭州,也是互联网行业的聚集地,占本市需求的60%以上。

武汉、南京、郑州和长沙,汽车和互联网需求较高,总和超过60%。

西安,互联网和房地产占本市需求的60%以上。

东莞,金融占本市需求的35%。

重庆、苏州、无锡和天津,汽车行业为主,约占4个行业总和的50%。

爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

新一线城市,需求汇总

4/ 总结

通过大数据,对当前招聘市场有一个理性和科学的认识,为判断和决策提供一些数据上的依据。

数据只有当可视化以后,才能显示出它巨大的作用,数据测算,行业预知,也只是时间问题。

以上分析,希望对找工作的你,在做决策时,提供一些帮助。

(以上数据,均爬取各自职位对应最大页数(分析基于8类职位)。数据可能会存在重复,仅供参考。)

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 爬取60000个岗位,爬虫告诉想要找或换工作的你,城市和行业,该怎么选?

分享到:更多 ()