编程 Javascript

node.js爬虫爬取拉勾网职位信息

Posted in Javascript onMarch 14, 2017

简介

用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考

数据结果

node.js爬虫爬取拉勾网职位信息

上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。

爬取过程展示

控制并发进行爬取

node.js爬虫爬取拉勾网职位信息

爬取到的数据文件

node.js爬虫爬取拉勾网职位信息

json数据文件

node.js爬虫爬取拉勾网职位信息

爬虫程序

实现思路

请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。

代码地址及使用

github：https://github.com/zsqosos/positionAnalysis

代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持三水点靠木！

node.js爬虫爬取拉勾网职位信息

- Author -

陌路黄昏后

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Javascript 相关文章推荐

实用javaScript技术-屏蔽类

Aug 15 Javascript

alixixi runcode.asp的代码不错的应用

Aug 08 Javascript

JS的数组的扩展实例代码

Jul 09 Javascript

jquery实现倒计时效果

Dec 14 Javascript

Three.js学习之Lamber材质和Phong材质

Aug 04 Javascript

Node.js读写文件之批量替换图片的实现方法

Sep 07 Javascript

jQuery表单验证简单示例

Oct 17 Javascript

Node.js下自定义错误类型详解

Oct 17 Javascript

jQuery实现表格冻结顶栏效果

Aug 20 jQuery

JavaScript实现滑动导航栏效果

Aug 30 Javascript

BootStrap实现文件上传并带有进度条效果

Sep 11 Javascript

基于对象合并功能的实现示例

Oct 10 Javascript

AngularJS实现页面定时刷新

Mar 14 #Javascript

原生JS实现左右箭头选择日期实例代码

Mar 14 #Javascript

JavaScript校验Number(4,1)格式的数字实例代码

Mar 13 #Javascript

Bootstrap笔记—折叠实例代码

Mar 13 #Javascript

jquery插件ContextMenu设置右键菜单

Mar 13 #Javascript

jQuery实现表格奇偶行显示不同背景色就这么简单

Mar 13 #Javascript

轻松实现jQuery添加删除按钮Click事件

Mar 13 #Javascript

You might like

整理的一些实用WordPress后台MySQL操作命令

2013/01/07 PHP

PHP递归算法的详细示例分析

2013/02/19 PHP

DOM XPATH获取img src值的query

2013/09/23 PHP

laravel 使用事件系统统计浏览量的实现

2019/10/16 PHP

几个高效，简洁的字符处理函数

2007/04/12 Javascript

Textarea与懒惰渲染实现代码

2012/01/04 Javascript

a标签的href和onclick 的事件的区别介绍

2013/07/26 Javascript

获取数组中最大最小值方法js代码(自写)

2013/08/12 Javascript

JS之Date对象和获取系统当前时间详解

2014/01/13 Javascript

JavaScript控制各种浏览器全屏模式的方法、属性和事件介绍

2014/04/03 Javascript

浅谈如何实现easyui的datebox格式化

2016/06/12 Javascript

Bootstrap Metronic完全响应式管理模板学习笔记

2016/07/08 Javascript

jQuery实现移动端手机商城购物车功能

2016/09/24 Javascript

jquery.validate表单验证插件使用方法解析

2016/11/07 Javascript

jQuery展示表格点击变色、全选、删除

2017/01/05 Javascript

微信小程序图片加载（本地，网路）实例详解

2017/03/10 Javascript

js实现字符全排列算法的简单方法

2017/05/01 Javascript

javascript算法之二叉搜索树的示例代码

2017/09/12 Javascript

vue.js根据代码运行环境选择baseurl的方法

2018/02/28 Javascript

vue2单元测试环境搭建

2018/05/24 Javascript

jQuery事件委托代码实践详解

2019/06/21 jQuery

Vue关于组件化开发知识点详解

2020/05/13 Javascript

html+vue.js 实现漂亮分页功能可兼容IE

2020/11/07 Javascript

[03:23]我的刀塔你不可能这么可爱第一期金萌萌的故事

2014/06/20 DOTA

详解Python编程中包的概念与管理

2015/10/16 Python

python模块之subprocess模块级方法的使用

2019/03/26 Python

Django学习笔记之为Model添加Action

2019/04/30 Python

django迁移数据库错误问题解决

2019/07/29 Python

Python实现TCP探测目标服务路由轨迹的原理与方法详解

2019/09/04 Python

CSS3制作炫酷带方向感应的鼠标滑过图片3D动画

2016/03/16 HTML / CSS

描述内存分配方式以及它们的区别

2016/10/15 面试题

董事长职责范文

2013/11/08 职场文书

客服服务心得体会

2013/12/30 职场文书

七年级音乐教学反思

2014/01/26 职场文书

python 标准库原理与用法详解之os.path篇

2021/10/24 Python

Win11如何查看显卡型号 Win11查看显卡型号的方法

2022/08/14 数码科技