Python简单实现网页内容抓取功能示例


Posted in Python onJune 07, 2018

本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考,具体如下:

使用模块:

import urllib2 
import urllib

普通抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

Get请求抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python中sort和sorted函数代码解析
Jan 25 Python
Python安装与基本数据类型教程详解
May 29 Python
python for和else语句趣谈
Jul 02 Python
Python实现的统计文章单词次数功能示例
Jul 08 Python
python 多进程共享全局变量之Manager()详解
Aug 15 Python
python聚类算法解决方案(rest接口/mpp数据库/json数据/下载图片及数据)
Aug 28 Python
python模块hashlib(加密服务)知识点讲解
Nov 25 Python
opencv3/C++ 平面对象识别&透视变换方式
Dec 11 Python
Python执行时间的几种计算方法
Jul 31 Python
Python命名空间及作用域原理实例解析
Aug 12 Python
python 利用panda 实现列联表(交叉表)
Feb 06 Python
python SOCKET编程基础入门
Feb 27 Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
使用python画个小猪佩奇的示例代码
Jun 06 #Python
python re模块的高级用法详解
Jun 06 #Python
Python实现的爬取网易动态评论操作示例
Jun 06 #Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 #Python
You might like
利用PHP+JS实现搜索自动提示(实例)
2013/06/09 PHP
PHP+jQuery翻板抽奖功能实现
2015/10/19 PHP
javascript让setInteval里的函数参数中的this指向特定的对象
2010/01/31 Javascript
Javascript笔记一 js以及json基础使用说明
2010/05/22 Javascript
jquery 查找新建元素代码
2010/07/06 Javascript
Js数组的操作push,pop,shift,unshift等方法详细介绍
2012/12/28 Javascript
javascript获取选中的文本的方法代码
2013/10/30 Javascript
使用C++为node.js写扩展模块
2015/04/22 Javascript
封装获取dom元素的简单实例
2016/07/08 Javascript
AngularJS中的DOM操作用法分析
2016/11/04 Javascript
Angular2 PrimeNG分页模块学习
2017/01/14 Javascript
详解webpack 多入口配置
2017/06/16 Javascript
JavaScript 数组去重并统计重复元素出现的次数实例
2017/12/14 Javascript
js实现导航跟随效果
2018/11/17 Javascript
vue+vant实现商品列表批量倒计时功能
2020/01/13 Javascript
echarts浮动显示单位的实现方法示例
2020/12/04 Javascript
[02:19]DOTA2女子战队FOX视频专访:希望更多美眉一起加入
2013/10/15 DOTA
Python中__new__与__init__方法的区别详解
2015/05/04 Python
Python实现程序的单一实例用法分析
2015/06/03 Python
Python实现可设置持续运行时间、线程数及时间间隔的多线程异步post请求功能
2018/01/11 Python
Python使用wget实现下载网络文件功能示例
2018/05/31 Python
python 调用钉钉机器人的方法
2019/02/20 Python
学习python可以干什么
2019/02/26 Python
简单了解Django ContentType内置组件
2019/07/23 Python
Python3搭建http服务器的实现代码
2020/02/11 Python
解决Python 写文件报错TypeError的问题
2020/10/23 Python
python飞机大战游戏实例讲解
2020/12/04 Python
HTML5中5个简单实用的API(第二篇,含全屏、可见性、拍照、预加载、电池状态)
2014/05/07 HTML / CSS
美国校园市场:OCM
2017/06/08 全球购物
党校培训自我鉴定范文
2014/04/10 职场文书
购房委托书范本
2014/09/18 职场文书
2014乡镇机关党员个人对照检查材料思想汇报
2014/10/09 职场文书
先进个人材料怎么写
2014/12/30 职场文书
背起爸爸上学观后感
2015/06/08 职场文书
2019餐饮行业创业计划书!
2019/06/27 职场文书
SQL注入的实现以及防范示例详解
2021/06/02 MySQL