Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
我的NodeJs学习小结(一)
Jul 06 NodeJs
轻松创建nodejs服务器(7):阻塞操作的实现
Dec 18 NodeJs
nodejs URL模块操作URL相关方法介绍
Mar 03 NodeJs
Nodejs抓取html页面内容(推荐)
Aug 11 NodeJs
nodeJs内存泄漏问题详解
Sep 05 NodeJs
Nodejs进阶:基于express+multer的文件上传实例
Nov 21 NodeJs
Nodejs回调加超时限制两种实现方法
Jun 09 NodeJs
Nodejs实现文件上传的示例代码
Sep 26 NodeJs
nodejs更改项目端口号的方法
May 13 NodeJs
nodejs前端模板引擎swig入门详解
May 15 NodeJs
nodejs环境使用Typeorm连接查询Oracle数据
Dec 05 NodeJs
Nodejs环境实现socket通信过程解析
Jul 03 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
PHP安全配置
2006/10/09 PHP
ThinkPHP之import方法实例详解
2014/06/20 PHP
MySql数据库查询结果用表格输出PHP代码示例
2015/03/20 PHP
解读PHP中上传文件的处理问题
2016/05/29 PHP
php下的原生ajax请求用法实例分析
2020/02/28 PHP
用倒置滤镜把div倒置,再把table倒置。
2007/07/31 Javascript
script标签属性type与language使用选择
2012/12/02 Javascript
仿百度联盟对联广告实现代码
2014/08/30 Javascript
浅谈Unicode与JavaScript的发展史
2015/01/19 Javascript
NodeJS中利用Promise来封装异步函数
2015/02/25 NodeJs
带有定位当前位置的百度地图前端web api实例代码
2016/06/21 Javascript
全面解析Angular中$Apply()及$Digest()的区别
2016/08/04 Javascript
详解Javascript中prototype属性(推荐)
2016/09/03 Javascript
js实现刷新页面后回到记录时滚动条的位置【两种方案可选】
2016/12/12 Javascript
jq stop()和:is(:animated)的用法及区别(详解)
2017/02/12 Javascript
JavaScript Base64 作为文件上传的实例代码解析
2017/02/14 Javascript
基于node.js的fs核心模块读写文件操作(实例讲解)
2017/09/10 Javascript
打造通用的匀速运动框架(实例讲解)
2017/10/17 Javascript
单页面vue引入百度统计的使用方法示例详解
2018/10/13 Javascript
koa2的中间件功能及应用示例
2020/03/05 Javascript
[08:02]DOTA2牵红线 zhou神抱得美人归
2014/03/22 DOTA
[53:10]Secret vs Pain 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
python画柱状图--不同颜色并显示数值的方法
2018/12/13 Python
对python借助百度云API对评论进行观点抽取的方法详解
2019/02/21 Python
15行Python代码实现网易云热门歌单实例教程
2019/03/10 Python
详解python中的hashlib模块的使用
2019/04/22 Python
jupyter 导入csv文件方式
2020/04/21 Python
Python 找出出现次数超过数组长度一半的元素实例
2020/05/11 Python
django的autoreload机制实现
2020/06/03 Python
python访问hdfs的操作
2020/06/06 Python
装上这 14 个插件后,PyCharm 真的是无敌的存在
2021/01/11 Python
加拿大鞋网:Globo Shoes
2019/12/26 全球购物
酒店副总岗位职责
2013/12/24 职场文书
放飞梦想演讲稿800字
2014/08/26 职场文书
2014党员自我评议表范文
2014/09/20 职场文书
Pytorch GPU内存占用很高,但是利用率很低如何解决
2021/06/01 Python