Python简单实现网页内容抓取功能示例


Posted in Python onJune 07, 2018

本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考,具体如下:

使用模块:

import urllib2 
import urllib

普通抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

Get请求抓取实例:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求,获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码,如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python实现的一个自动售饮料程序代码分享
Aug 25 Python
python MySQLdb使用教程详解
Mar 20 Python
Python检查和同步本地时间(北京时间)的实现方法
Dec 03 Python
python多个模块py文件的数据共享实例
Jan 11 Python
对PyQt5基本窗口控件 QMainWindow的使用详解
Jun 19 Python
Python列表与元组的异同详解
Jul 02 Python
python通过TimedRotatingFileHandler按时间切割日志
Jul 17 Python
Django集成celery发送异步邮件实例
Dec 17 Python
Python实现UDP程序通信过程图解
May 15 Python
python 通过文件夹导入包的操作
Jun 01 Python
浅谈Python中的字符串
Jun 10 Python
Django cookie和session的应用场景及如何使用
Apr 29 Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
使用python画个小猪佩奇的示例代码
Jun 06 #Python
python re模块的高级用法详解
Jun 06 #Python
Python实现的爬取网易动态评论操作示例
Jun 06 #Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 #Python
You might like
php url路由入门实例
2014/04/23 PHP
PHP Smarty模版简单使用方法
2016/03/30 PHP
JavaScript 判断判断某个对象是Object还是一个Array
2010/01/28 Javascript
JS短路原理的应用示例 精简代码的途径
2013/12/13 Javascript
js的Prototype属性解释及常用方法
2014/05/08 Javascript
[将免费进行到底]在Amazon的一年免费服务器上安装Node.JS, NPM和OurJS博客
2014/08/18 Javascript
jquery向上向下取整适合分页查询
2014/09/06 Javascript
微信小程序 实战实例开发流程详细介绍
2017/01/05 Javascript
Vue路由跳转问题记录详解
2017/06/15 Javascript
vue-cli webpack 引入swiper的操作方法
2018/09/15 Javascript
Vue CL3 配置路径别名详解
2019/05/30 Javascript
纯js+css实现仿移动端淘宝网站的弹出详情框功能
2019/12/29 Javascript
nuxt配置通过指定IP和端口访问的实现
2020/01/08 Javascript
JS实现横向轮播图(中级版)
2020/01/18 Javascript
JS定时器如何实现提交成功提示功能
2020/06/12 Javascript
解决vue项目 build之后资源文件找不到的问题
2020/09/12 Javascript
解决ant Design中this.props.form.validateFields未执行的问题
2020/10/27 Javascript
[34:47]完美世界DOTA2联赛PWL S2 Magma vs LBZS 第一场 11.18
2020/11/18 DOTA
利用Python获取赶集网招聘信息前篇
2016/04/18 Python
TensorFlow实现卷积神经网络CNN
2018/03/09 Python
Python实现的远程登录windows系统功能示例
2018/06/21 Python
python中logging模块的一些简单用法的使用
2019/02/22 Python
使用Python-OpenCV向图片添加噪声的实现(高斯噪声、椒盐噪声)
2019/05/28 Python
Python中print函数简单使用总结
2019/08/05 Python
python pprint模块中print()和pprint()两者的区别
2020/02/10 Python
css3实现冲击波效果的示例代码
2018/01/11 HTML / CSS
日本著名的服饰鞋帽综合类购物网站:MAGASEEK
2019/01/09 全球购物
仓库主管的岗位职责
2013/12/04 职场文书
天鹅的故事教学反思
2014/02/04 职场文书
法律专业自荐信
2014/06/03 职场文书
生日宴会祝酒词
2015/08/10 职场文书
2016年情人节广告语
2016/01/28 职场文书
navicat 连接Ubuntu虚拟机的mysql的操作方法
2022/04/02 MySQL
浅谈Redis缓冲区机制
2022/06/05 Redis
pd.DataFrame中的几种索引变换的实现
2022/06/16 Python