Nodejs抓取html页面内容(推荐)


Posted in NodeJs onAugust 11, 2016

废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。

具体代码如下所示:

var http = require("http");
var iconv = require('iconv-lite');
var option = { 
hostname: "stockdata.stock.hexun.com",
path: "/gszl/s601398.shtml"
}; 
var req = http.request(option, function(res) {
res.on("data", function(chunk) {
console.log(iconv.decode(chunk, "gbk"));
}); 
}).on("error", function(e) {
console.log(e.message);
});
req.end();

下面再看下面一种nodejs抓取网页内容

function loadPage(url) {
var http = require('http');
var pm = new Promise(function (resolve, reject) {
http.get(url, function (res) {
var html = '';
res.on('data', function (d) {
html += d.toString()
});
res.on('end', function () {
resolve(html);
});
}).on('error', function (e) {
reject(e)
});
});
return pm;
}
loadPage('http://www.baidu.com').then(function (d) {
console.log(d);
});
NodeJs 相关文章推荐
跟我学Nodejs(一)--- Node.js简介及安装开发环境
May 20 NodeJs
Nodejs极简入门教程(三):进程
Oct 27 NodeJs
nodejs创建web服务器之hello world程序
Aug 20 NodeJs
nodejs实例解析(输出hello world)
Jan 03 NodeJs
ajax +NodeJS 实现图片上传实例
Jun 06 NodeJs
NodeJS链接MySql数据库的操作方法
Jun 27 NodeJs
深入学习nodejs中的async模块的使用方法
Jul 12 NodeJs
Nodejs+angularjs结合multiparty实现多图片上传的示例代码
Sep 29 NodeJs
Nodejs连接mysql并实现增、删、改、查操作的方法详解
Jan 04 NodeJs
nodeJS模块简单用法示例
Apr 21 NodeJs
用Electron写个带界面的nodejs爬虫的实现方法
Jan 29 NodeJs
nodejs+koa2 实现模仿springMVC框架
Oct 21 NodeJs
用nodejs的实现原理和搭建服务器(动态)
Aug 10 #NodeJs
nodejs如何获取时间戳与时间差
Aug 03 #NodeJs
NodeJS与HTML5相结合实现拖拽多个文件上传到服务器的实现方法
Jul 26 #NodeJs
Nodejs从有门道无门菜鸟起飞必看教程
Jul 20 #NodeJs
nodejs加密Crypto的实例代码
Jul 07 #NodeJs
Nodejs中 npm常用命令详解
Jul 04 #NodeJs
Nodejs全局安装和本地安装的不同之处
Jul 04 #NodeJs
You might like
如何给phpadmin一个保护
2006/10/09 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(八)
2014/06/23 PHP
php实现求相对时间函数
2015/06/15 PHP
Laravel5.3+框架定义API路径取消CSRF保护方法详解
2020/04/06 PHP
Packer 3.0 JS压缩及混淆工具 下载
2007/05/03 Javascript
jQuery 表单验证插件formValidation实现个性化错误提示
2009/06/23 Javascript
JQuery移动页面开发之屏幕方向改变与滚屏的实现
2015/12/03 Javascript
简单实现node.js图片上传
2016/12/18 Javascript
jQuery与js实现颜色渐变的方法
2016/12/30 Javascript
常用的javascript设计模式
2017/01/11 Javascript
如何编写jquery插件
2017/03/29 jQuery
微信小程序图片选择、上传到服务器、预览(PHP)实现实例
2017/05/11 Javascript
requirejs + vue 项目搭建详解
2017/06/16 Javascript
nodejs 图解express+supervisor+ejs的用法(推荐)
2017/09/08 NodeJs
Angular2 父子组件通信方式的示例
2018/01/29 Javascript
微信小程序身份证验证方法实现详解
2019/06/28 Javascript
vue 使用鼠标滚动加载数据的例子
2019/10/31 Javascript
python对url格式解析的方法
2015/05/13 Python
Python基本语法经典教程
2016/03/11 Python
Ubuntu 16.04 LTS中源码安装Python 3.6.0的方法教程
2016/12/27 Python
Python学习之Django的管理界面代码示例
2018/02/10 Python
django中SMTP发送邮件配置详解
2019/07/19 Python
在vscode中配置python环境过程解析
2019/09/28 Python
Python检测端口IP字符串是否合法
2020/06/05 Python
Django封装交互接口代码
2020/07/12 Python
html5 更新图片颜色示例代码
2014/07/29 HTML / CSS
Marlies Dekkers内衣法国官方网上商店:国际知名的荷兰内衣品牌
2019/03/18 全球购物
如何查询Oracle数据库中已经创建的索引
2013/10/11 面试题
DELPHI面试题研发笔试试卷
2015/11/08 面试题
2014年个人工作总结模板
2014/12/15 职场文书
爱岗敬业事迹材料
2014/12/24 职场文书
红色经典观后感
2015/06/18 职场文书
高效课堂教学反思
2016/02/24 职场文书
企业内部管理控制:银行存款控制制度范本
2020/01/10 职场文书
TensorFlow的自动求导原理分析
2021/05/26 Python
Python中生成随机数据安全性、多功能性、用途和速度方面进行比较
2022/04/14 Python