nodejs爬虫初试superagent和cheerio


Posted in NodeJs onMarch 05, 2018

前言

早就听过爬虫,这几天开始学习nodejs,写了个爬虫https://github.com/leichangchun/node-crawlers/tree/master/superagent_cheerio_demo,爬取 博客园首页的文章标题、用户名、阅读数、推荐数和用户头像,现做个小总结。

使用到这几个点:

1、node的核心模块-- 文件系统

2、用于http请求的第三方模块 -- superagent

3、用于解析DOM的第三方模块 -- cheerio

几个模块详细的讲解及API请到各个链接查阅,demo中只有简单的用法。

准备工作

使用npm管理依赖,依赖信息会存放在package.json中

//安装用到的第三方模块
cnpm install --save superagent cheerio

引入所需要用到的功能模块

//引入第三方模块,superagent用于http请求,cheerio用于解析DOM
const request = require('superagent');
const cheerio = require('cheerio');
const fs = require('fs');

请求 + 解析页面

想要爬到博客园首页的内容,首先要请求首页地址,拿到返回的html,这里使用superagent进行http请求,基本的使用方法如下:

request.get(url)
      .end(error,res){
      //do something     
}

向指定的url发起get请求,请求错误时,会有error返回(没有错误时,error为null或undefined),res为返回的数据。

拿到html内容后,要拿到我们想要的数据,这个时候就需要用cheerio解析DOM了,cheerio要先load目标html,然后再进行解析,API和jquery的API非常类似,熟悉jquery上手非常快。直接看代码实例

//目标链接 博客园首页
let targetUrl = 'https://www.cnblogs.com/';
//用来暂时保存解析到的内容和图片地址数据
let content = '';
let imgs = [];
//发起请求
request.get(targetUrl)
    .end( (error,res) => {
      if(error){ //请求出错,打印错误,返回
        console.log(error)
        return;
      }
      // cheerio需要先load html
      let $ = cheerio.load(res.text);
      //抓取需要的数据,each为cheerio提供的方法用来遍历
      $('#post_list .post_item').each( (index,element) => {
        //分析所需要的数据的DOM结构
        //通过选择器定位到目标元素,再获取到数据
        let temp = {
          '标题' : $(element).find('h3 a').text(),
          '作者' : $(element).find('.post_item_foot > a').text(),
          '阅读数' : +$(element).find('.article_view a').text().slice(3,-2),
          '推荐数' : +$(element).find('.diggnum').text()
        }
        //拼接数据
        content += JSON.stringify(temp) + '\n';
        //同样的方式获取图片地址
        if($(element).find('img.pfs').length > 0){
          imgs.push($(element).find('img.pfs').attr('src'));
        }
      });
      //存放数据
      mkdir('./content',saveContent);
      mkdir('./imgs',downloadImg);
    })

存储数据

上面解析DOM之后,已经拼接了所需要的信息内容,也拿到了图片的URL,现在就进行存储,把内容存放到指定目录的txt文件中,而且下载图片到指定目录

先创建目录,使用nodejs核心的文件系统

//创建目录
function mkdir(_path,callback){
  if(fs.existsSync(_path)){
    console.log(`${_path}目录已存在`)
  }else{
    fs.mkdir(_path,(error)=>{
      if(error){
        return console.log(`创建${_path}目录失败`);
      }
      console.log(`创建${_path}目录成功`)
    })
  }
  callback(); //没有生成指定目录不会执行
}

有了指定目录之后,可以写入数据了,txt文件的内容已经有了,直接写入就可以了使用writeFile()

//将文字内容存入txt文件中
function saveContent() {
  fs.writeFile('./content/content.txt',content.toString());
}

取到了图片的链接,所以需要再使用superagent下载图片,存在本地。superagent可以直接返回一个响应流,再配合nodejs的管道,直接把图片内容写到本地

//下载爬到的图片
function downloadImg() {
  imgs.forEach((imgUrl,index) => {
    //获取图片名 
    let imgName = imgUrl.split('/').pop();

    //下载图片存放到指定目录
    let stream = fs.createWriteStream(`./imgs/${imgName}`);
    let req = request.get('https:' + imgUrl); //响应流
    req.pipe(stream);
    console.log(`开始下载图片 https:${imgUrl} --> ./imgs/${imgName}`);     
  } )
}

效果

执行下demo,看下效果,数据已经正常爬下来了

nodejs爬虫初试superagent和cheerio

 

非常简单的一个demo,可能也没有那么严谨,不过总是走出了node的第一小步。

总结

以上所述是小编给大家介绍的nodejs爬虫初试superagent和cheerio,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

NodeJs 相关文章推荐
Nodejs sublime text 3安装与配置
Jun 19 NodeJs
轻松创建nodejs服务器(2):nodejs服务器的构成分析
Dec 18 NodeJs
nodejs中操作mysql数据库示例
Dec 20 NodeJs
nodejs 中模拟实现 emmiter 自定义事件
Feb 22 NodeJs
nodejs个人博客开发第四步 数据模型
Apr 12 NodeJs
Nodejs实现多房间简易聊天室功能
Jun 20 NodeJs
nodejs中安装ghost出错的原因及解决方法
Oct 23 NodeJs
NodeJS爬虫实例之糗事百科
Dec 14 NodeJs
nodejs实现的简单web服务器功能示例
Mar 15 NodeJs
搭建一个nodejs脚手架的方法步骤
Jun 28 NodeJs
Nodejs中使用puppeteer控制浏览器中视频播放功能
Aug 26 NodeJs
Nodejs监控事件循环异常示例详解
Sep 22 NodeJs
Nodejs模块载入运行原理
Feb 23 #NodeJs
Nodejs下使用gm圆形裁剪并合成图片的示例
Feb 22 #NodeJs
nodejs微信扫码支付功能实现
Feb 17 #NodeJs
nodejs+express搭建多人聊天室步骤
Feb 12 #NodeJs
nodeJs实现基于连接池连接mysql的方法示例
Feb 10 #NodeJs
NodeJS简单实现WebSocket功能示例
Feb 10 #NodeJs
nodejs使用redis作为缓存介质实现的封装缓存类示例
Feb 07 #NodeJs
You might like
php excel类 phpExcel使用方法介绍
2010/08/21 PHP
新浪微博OAuth认证和储存的主要过程详解
2015/03/27 PHP
浅谈PHP值mysql操作类
2016/06/29 PHP
php插入mysql数据返回id的方法
2018/05/31 PHP
Yii1.1框架实现PHP极光推送消息通知功能
2018/09/06 PHP
javascript转换字符串为dom对象(字符串动态创建dom)
2010/05/10 Javascript
jquery mobile界面数据刷新的实现方法
2016/05/28 Javascript
微信公众号支付H5调用支付解析
2016/11/04 Javascript
微信小程序 删除项目工程实现步骤
2016/11/10 Javascript
Vue 仿百度搜索功能实现代码
2017/02/16 Javascript
JS实现提交表单前的数字及邮箱校检功能
2017/11/13 Javascript
vue 纯js监听滚动条到底部的实例讲解
2018/09/03 Javascript
详解element-ui中el-select的默认选择项问题
2019/08/02 Javascript
JS实现简单随机3D骰子
2019/10/24 Javascript
JS实现简单日历特效
2020/01/03 Javascript
[06:49]2018DOTA2国际邀请赛寻真——VirtusPro傲视群雄
2018/08/12 DOTA
python 布尔操作实现代码
2013/03/23 Python
详解Python中的循环语句的用法
2015/04/09 Python
Python编程判断一个正整数是否为素数的方法
2017/04/14 Python
python kmeans聚类简单介绍和实现代码
2018/02/23 Python
python正则表达式爬取猫眼电影top100
2018/02/24 Python
Python在groupby分组后提取指定位置记录方法
2018/04/20 Python
python3实现网页版raspberry pi(树莓派)小车控制
2020/02/12 Python
python 计算概率密度、累计分布、逆函数的例子
2020/02/25 Python
python 用opencv实现图像修复和图像金字塔
2020/11/27 Python
39美元购买一副眼镜或太阳镜:39DollarGlasses.com
2018/06/17 全球购物
医学专业大学生求职的自我评价
2013/11/27 职场文书
英文求职信写作小建议
2014/02/16 职场文书
销售员岗位职责
2014/06/09 职场文书
创文明城市标语
2014/06/16 职场文书
大学生就业自荐书
2014/06/16 职场文书
组织生活会发言材料
2014/12/15 职场文书
门球健将观后感
2015/06/16 职场文书
劳务派遣管理制度(样本)
2019/08/23 职场文书
低版本Druid连接池+MySQL驱动8.0导致线程阻塞、性能受限
2021/07/01 MySQL
MyBatis在注解上使用动态SQL方式(@select使用if)
2022/07/07 Java/Android