python爬虫获取百度首页内容教学


Posted in Python onDecember 23, 2018

由传智播客教程整理,我们这里使用的是python2.7.x版本,就是2.7之后的版本,因为python3的改动略大,我们这里不用它。现在我们尝试一下url和网络爬虫配合的关系,爬浏览器首页信息。

1、首先我们创建一个urllib2_test01.py,然后输入以下代码:

python爬虫获取百度首页内容教学

2、最简单的获取一个url的信息代码居然只需要4行,执行写的python代码:

python爬虫获取百度首页内容教学

3、之后我们会看到一下的结果

python爬虫获取百度首页内容教学

4、

实际上,如果我们在浏览器上打开网页主页的话,右键选择“查看源代码”,你会发现,跟我们刚打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页和全部代码爬了下来了 。

5、下面我们介绍一下这四行代码,第一行如下图,这个就是将urllib2组件进入进来,供给我们使用。

python爬虫获取百度首页内容教学

6、图片下面这步骤是调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫respones对象当中。

python爬虫获取百度首页内容教学

7、最后这里,是调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。最后的print html就是将字符串打出来,所以说一个基本的url请求是对应的python代码是很简单的。

python爬虫获取百度首页内容教学

总结:以上就是关于利用python爬虫获取百度信息的步骤内容,感谢大家的学习和对三水点靠木的支持。

Python 相关文章推荐
Python基于pygame实现的弹力球效果(附源码)
Nov 11 Python
Python算法应用实战之队列详解
Feb 04 Python
python PyTorch预训练示例
Feb 11 Python
django session完成状态保持的方法
Nov 27 Python
对python字典过滤条件的实例详解
Jan 22 Python
selenium+python自动化测试之页面元素定位
Jan 23 Python
Python实现爬取马云的微博功能示例
Feb 16 Python
Python中的几种矩阵乘法(小结)
Jul 10 Python
ubuntu 18.04 安装opencv3.4.5的教程(图解)
Nov 04 Python
Python如何用filter函数筛选数据
Mar 05 Python
Python网络编程之ZeroMQ知识总结
Apr 25 Python
Python数据分析入门之数据读取与存储
May 13 Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
celery4+django2定时任务的实现代码
Dec 23 #Python
python3使用pandas获取股票数据的方法
Dec 22 #Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 #Python
python3 cvs将数据读取为字典的方法
Dec 22 #Python
python将txt等文件中的数据读为numpy数组的方法
Dec 22 #Python
python将txt文件读取为字典的示例
Dec 22 #Python
You might like
利用php来自动调用不同服务器上的flash
2006/10/09 PHP
基于yaf框架和uploadify插件,做的一个导入excel文件,查看并保存数据的功能
2017/01/24 PHP
详解php几行代码实现CSV格式文件输出
2017/07/01 PHP
基于Laravel 5.2 regex验证的正确写法
2019/09/29 PHP
修复ie8&chrome下window的resize事件多次执行
2011/10/20 Javascript
JavaScript网页定位详解
2014/01/13 Javascript
js控制元素显示在屏幕固定位置及监听屏幕高度变化的方法
2015/08/11 Javascript
基于jquery实现可定制的web在线富文本编辑器附源码下载
2015/11/17 Javascript
JavaScript进阶练习及简单实例分析
2016/06/03 Javascript
浅谈jquery的html方法里包含特殊字符的处理
2016/11/30 Javascript
学习使用Bootstrap页面排版样式
2017/05/11 Javascript
react build 后打包发布总结
2018/08/24 Javascript
在node环境下parse Smarty模板的使用示例代码
2019/11/15 Javascript
vue项目中自定义video视频控制条的实现代码
2020/04/26 Javascript
vue移动端下拉刷新和上滑加载
2020/10/27 Javascript
jQuery实现可以扩展的日历
2020/12/01 jQuery
Django发送html邮件的方法
2015/05/26 Python
Python标准库inspect的具体使用方法
2017/12/06 Python
Python3基于sax解析xml操作示例
2018/05/22 Python
python 实时得到cpu和内存的使用情况方法
2018/06/11 Python
Pycharm设置去除显示的波浪线方法
2018/10/28 Python
Python数据类型之Number数字操作实例详解
2019/05/08 Python
红色康乃馨酒店:Red Carnation Hotels
2017/06/22 全球购物
澳大利亚快时尚鞋类市场:Billini
2018/05/20 全球购物
英国家庭、花园、汽车和移动解决方案:Easylife Group
2018/05/23 全球购物
印度民族服装购物网站:BIBA
2019/08/05 全球购物
财会自我鉴定范文
2013/12/27 职场文书
高一生物教学反思
2014/01/17 职场文书
高中运动会广播稿
2014/01/21 职场文书
迎新晚会策划方案
2014/06/13 职场文书
委托书的写法
2014/09/16 职场文书
2015年上半年信访工作总结
2015/03/30 职场文书
百家讲坛观后感
2015/06/12 职场文书
微信小程序实现聊天室功能
2021/06/14 Javascript
5种 JavaScript 方式实现数组扁平化
2021/10/05 Javascript
使用Python通过企业微信应用给企业成员发消息
2022/04/18 Python