Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
nodejs教程 安装express及配置app.js文件的详细步骤
May 11 NodeJs
NodeJS Web应用监听sock文件实例
Feb 18 NodeJs
nodejs实现获取当前url地址及url各种参数值
Jun 25 NodeJs
NodeJS使用formidable实现文件上传
Oct 27 NodeJs
详解nodejs 文本操作模块-fs模块(五)
Dec 23 NodeJs
Nodejs实现短信验证码功能
Feb 09 NodeJs
nodeJS实现简单网页爬虫功能的实例(分享)
Jun 08 NodeJs
Nodejs+express+ejs简单使用实例代码
Sep 18 NodeJs
NodeJS如何实现同步的方法示例
Aug 24 NodeJs
nodejs 使用 js 模块的方法实例详解
Dec 04 NodeJs
详解NodeJS Https HSM双向认证实现
Mar 12 NodeJs
nodejs实现日志读取、日志查找及日志刷新的方法分析
May 20 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
无数据库的详细域名查询程序PHP版(5)
2006/10/09 PHP
php mysql Errcode: 28 终极解决方法
2009/07/01 PHP
PHP单例模式详细介绍
2015/07/01 PHP
php session实现多级目录存放实现代码
2016/02/03 PHP
PHP基本语法实例总结
2016/09/09 PHP
Javascript 实现TreeView CheckBox全选效果
2010/01/11 Javascript
各浏览器对document.getElementById等方法的实现差异解析
2013/12/05 Javascript
简单的JavaScript互斥锁分享
2014/02/02 Javascript
使用jQuery实现的掷色子游戏动画效果
2014/03/14 Javascript
html文档中的location对象属性理解及常见的用法
2014/08/13 Javascript
JS动态给对象添加属性和值的实现方法
2016/10/21 Javascript
求js数组的最大值和最小值的四种方法
2017/03/03 Javascript
JavaScript之class继承_动力节点Java学院整理
2017/07/03 Javascript
[js高手之路]从原型链开始图解继承到组合继承的产生详解
2017/08/28 Javascript
JavaScript实现左侧菜单效果
2017/12/14 Javascript
ES6 Promise对象的含义和基本用法分析
2019/06/14 Javascript
JS中的算法与数据结构之栈(Stack)实例详解
2019/08/20 Javascript
JavaScript装饰者模式原理与用法实例详解
2020/03/09 Javascript
javascript设计模式 ? 模板方法模式原理与用法实例分析
2020/04/23 Javascript
python查找重复图片并删除(图片去重)
2019/07/16 Python
更新升级python和pip版本后不生效的问题解决
2020/04/17 Python
使用Html5实现异步上传文件,支持跨域,带有上传进度条
2016/09/17 HTML / CSS
受外贸欢迎的美国主机:BlueHost
2017/05/16 全球购物
Rowdy Gentleman服装和配饰:美好时光
2019/09/24 全球购物
Hashtable 添加内容的方式有哪几种,有什么区别?
2012/04/08 面试题
大学生职业生涯规划书范文
2014/01/04 职场文书
《美丽的小兴安岭》教学反思
2014/02/26 职场文书
2014年开学第一课活动方案
2014/03/06 职场文书
读书伴我成长演讲稿
2014/05/07 职场文书
医药销售自我评价200字
2014/09/11 职场文书
2014镇副书记群众路线专题民主生活会思想汇报
2014/09/23 职场文书
2014年单位工作总结范文
2014/11/27 职场文书
教育实习指导教师评语
2014/12/31 职场文书
食品质检员岗位职责
2015/04/08 职场文书
排球赛新闻稿
2015/07/17 职场文书
CSS3 实现的图片悬停的切换按钮
2021/04/13 HTML / CSS