python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
将图片文件嵌入到wxpython代码中的实现方法
Aug 11 Python
对于Python装饰器使用的一些建议
Jun 03 Python
python学生信息管理系统(初级版)
Oct 17 Python
Python cv2 图像自适应灰度直方图均衡化处理方法
Dec 07 Python
python实现连续图文识别
Dec 18 Python
Python面向对象之类的封装操作示例
Jun 08 Python
Python 通过截图匹配原图中的位置(opencv)实例
Aug 27 Python
python 多进程队列数据处理详解
Dec 23 Python
Python 改变数组类型为uint8的实现
Apr 09 Python
Python如何使用PIL Image制作GIF图片
May 16 Python
Python中random模块常用方法的使用教程
Oct 04 Python
python 中 .py文件 转 .pyd文件的操作
Mar 04 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
PHP date函数参数详解
2006/11/27 PHP
深思 PHP 数组遍历的差异(array_diff 的实现)
2008/03/23 PHP
php二维码生成
2015/10/19 PHP
mysqli扩展无法在PHP7下升级问题的解决
2019/09/10 PHP
关闭浏览器输入框自动补齐 兼容IE,FF,Chrome等主流浏览器
2014/02/11 Javascript
使用jQuery重置(reset)表单的方法
2014/05/05 Javascript
jQuery中prevUntil()方法用法实例
2015/01/08 Javascript
Avalon中文长字符截取、关键字符隐藏、自定义过滤器
2016/05/18 Javascript
jQuery文字横向滚动效果的实现代码
2016/05/31 Javascript
通过JS和PHP两种方法判断用户请求时使用的浏览器类型
2016/09/01 Javascript
JS前端开发判断是否是手机端并跳转操作(小结)
2017/02/05 Javascript
AngularJS 单选框及多选框的双向动态绑定
2017/04/20 Javascript
解决低版本的浏览器不支持es6的import问题
2018/03/09 Javascript
Vue 实现双向绑定的四种方法
2018/03/16 Javascript
浅谈webpack 自动刷新与解析
2018/04/09 Javascript
Vue自定义指令封装节流函数的方法示例
2018/07/09 Javascript
微信小程序实现日历功能
2018/11/27 Javascript
vue中$refs, $emit, $on, $once, $off的使用详解
2019/05/26 Javascript
用Vue.js在浏览器中实现裁剪图像功能
2019/06/18 Javascript
ES6 class的应用实例分析
2019/06/27 Javascript
超简单的微信小程序轮播图
2019/11/22 Javascript
如何使用JS console.log()技巧提高工作效率
2020/10/14 Javascript
浅谈numpy数组中冒号和负号的含义
2018/04/18 Python
使用Numpy读取CSV文件,并进行行列删除的操作方法
2018/07/04 Python
python3 map函数和filter函数详解
2019/08/26 Python
TensorFlow实现保存训练模型为pd文件并恢复
2020/02/06 Python
解决Python pip 自动更新升级失败的问题
2020/02/21 Python
Python request操作步骤及代码实例
2020/04/13 Python
Pycharm打开已有项目配置python环境的方法
2020/07/03 Python
python asyncio 协程库的使用
2021/01/21 Python
中国旅游网站:同程旅游
2016/09/11 全球购物
缅甸网上购物:Shop.com.mm
2017/12/05 全球购物
香奈儿美国官网:CHANEL美国
2020/05/20 全球购物
人力资源管理专业应届生求职信
2013/09/28 职场文书
环境保护建议书
2014/08/26 职场文书
小学生暑假安全保证书
2015/07/13 职场文书