编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

Firebug 字幕文件JSON地址获取代码

Oct 28 Javascript

把html页面的部分内容保存成新的html文件的jquery代码

Nov 12 Javascript

邮箱下拉自动填充选择示例代码附图

Apr 03 Javascript

Javascript仿PHP $_GET获取URL中的参数

May 12 Javascript

JQuery中DOM事件合成用法实例分析

Jun 13 Javascript

jQuery内容折叠效果插件用法实例分析(附demo源码)

Apr 28 Javascript

每日十条JavaScript经验技巧(二)

Jun 23 Javascript

原生javascript 学习之js变量全面了解

Jul 14 Javascript

bootstrap table服务端实现分页效果

Aug 10 Javascript

Vue.js中该如何自己维护路由跳转记录

May 19 Javascript

video.js添加自定义组件的方法

Dec 09 Javascript

JS中循环遍历数组的四种方式总结

Jan 23 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

阿里云PHP SMS短信服务验证码发送方法

2017/07/11 PHP

php实现的redis缓存类定义与使用方法示例

2017/08/09 PHP

JavaScript 学习笔记（九）call和apply方法

2010/01/11 Javascript

js汉字转拼音实现代码

2013/02/06 Javascript

Javascript基础函数“重载” 详细介绍

2013/10/25 Javascript

JavaScript判断变量是否为undefined的两种写法区别

2013/12/04 Javascript

在Google 地图上实现做的标记相连接

2015/01/05 Javascript

JSON相关知识汇总

2015/07/03 Javascript

jQuery+ajax实现文章点赞功能的方法

2015/12/31 Javascript

JavaScript 对象字面量讲解

2016/06/06 Javascript

基于Bootstrap 3 JQuery及RegExp的表单验证功能

2017/02/16 Javascript

Bootstrap DateTime Picker日历控件简单应用

2017/03/25 Javascript

angularjs实现table增加tr的方法

2018/02/27 Javascript

详解使用VUE搭建后台管理系统(vue-cli更新至3.0)

2018/08/22 Javascript

bootstrap table实现合并单元格效果

2018/12/24 Javascript

react+redux仿微信聊天界面

2019/06/21 Javascript

Python实现程序的单一实例用法分析

2015/06/03 Python

Python实现获取汉字偏旁部首的方法示例【测试可用】

2018/12/18 Python

Python 去除字符串中指定字符串

2020/03/05 Python

使用卷积神经网络（CNN）做人脸识别的示例代码

2020/03/27 Python

Python3+Flask安装使用教程详解

2021/02/16 Python

匡威比利时官网：Converse Belgium

2017/04/13 全球购物

TIME时代杂志台湾总代理：台时亚洲

2018/10/22 全球购物

英国最大的宠物商店：Pets at Home

2019/04/17 全球购物

String和StringBuffer的区别

2015/08/13 面试题

广州盈通面试题

2015/12/05 面试题

swtich是否能作用在byte上，是否能作用在long上，是否能作用在String上

2013/07/06 面试题

2014年3.15团委活动总结

2014/03/16 职场文书

关于运动会广播稿300字

2014/10/05 职场文书

电子商务实训报告总结

2014/11/05 职场文书

高中班主任培训心得体会

2016/01/07 职场文书

2016年度创先争优活动总结

2016/04/05 职场文书

Ajax实现异步加载数据

2021/11/17 Javascript

配置Kubernetes外网访问集群

2022/03/31 Servers

前端JS获取URL参数的4种方法总结

2022/04/05 Javascript

Java 异步任务计算FutureTask

2022/04/28 Java/Android