用python写爬虫简单吗


Posted in Python onJuly 28, 2020

所谓网络爬虫,通俗的讲,就是通过向我们需要的URL发出http请求,获取该URL对应的http报文主体内容,之后提取该报文主体中我们所需要的信息。

下面是一个简单的爬虫程序

http基本知识

当我们通过浏览器访问指定的URL时,需要遵守http协议。本节将介绍一些关于http的基础知识。

http基本流程

我们打开一个网页的过程,就是一次http请求的过程。这个过程中,我们自己的主机充当着客户机的作用,而充当客户端的是浏览器。我们输入的URL对应着网络中某台服务器上面的资源,服务器接收到客户端发出的http请求之后,会给客户端一个响应,响应的内容就是请求的URL对应的内容,当客户端接收到服务器的响应时,我们就可以在浏览器上看见请求的信息了。

我们可以通过python的requests模块很方便的发起http请求。requests模块是第三方模块,安装完成之后直接import就能使用。下面介绍一些简单的用法

发起请求

import requests
# 请求的首部信息
headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
  Chrome/65.0.3325.146 Safari/537.36'
}
# 例子的url
url = 'https://voice.hupu.com/nba' # 虎扑nba新闻
# 利用requests对象的get方法,对指定的url发起请求
# 该方法会返回一个Response对象
res = requests.get(url, headers=headers)
# 通过Response对象的text方法获取网页的文本信息
print(res.text)

上面的代码中,我们向虎扑的服务器发送了一个get请求,获取虎扑首页的nba新闻。headers参数指的是http请求的首部信息,我们请求的url对应的资源是虎扑nba新闻的首页。获取到对应的网页资源之后,我们需要对其中的信息进行提取。

通过BeautifulSoup提取网页信息

BeautifulSoup库提供了很多解析html的方法,可以帮助我们很方便地提取我们需要的内容。我们这里说的BeautifulSoup指的是bs4。当我们成功抓取网页之后,就可以通过BeautifulSoup对象对网页内容进行解析。在BeautifulSoup中,我们最常用的方法就是find()方法和find_all()方法,借助于这两个方法,可以轻松地获取到我们需要的标签或者标签组。关于其他的方法,可以参考bs4的官方文档:BeautifulSoup

find()方法和find_all()方法的用法如下

find(name , attrs , recursive , string , **kwargs )
# find_all()方法将返回文档中符合条件的所有tag,
find_all(name , attrs , recursive , string , **kwargs )
from bs4 import BeautifulSoup
# BeautifulSoup对象接收html文档字符串
# lxml是html解析器
soup = Beautiful(res.text, 'lxml')
# 下面的方法找出了所有class为hello的span标签
# 并将所有的结果都放入一个list返回
tags = soup.find_all('span', {'class': 'hello'})

实例扩展:

实例一:

#第一种方法
import urllib2 #将urllib2库引用进来
response=urllib2.urlopen("http://www.baidu.com") #调用库中的方法,将请求回应封装到response对象中
html=response.read() #调用response对象的read()方法,将回应字符串赋给hhtml变量
print html #打印出来

实例二:

#第二中方法
import urllib2
req=urllib2.Request("http://ww.baidu.com")
response=urllib2.urlopen(req)
html = response.read()
print html

到此这篇关于用python写爬虫简单吗的文章就介绍到这了,更多相关python写爬虫难吗内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python的Django框架中的select_related函数对QuerySet 查询的优化
Apr 01 Python
利用Python中的输入和输出功能进行读取和写入的教程
Apr 14 Python
深入理解Python装饰器
Jul 27 Python
Python正则表达式如何进行字符串替换实例
Dec 28 Python
轻松实现TensorFlow微信跳一跳的AI
Jan 05 Python
python实现生命游戏的示例代码(Game of Life)
Jan 24 Python
Django框架自定义session处理操作示例
May 27 Python
Python 写了个新型冠状病毒疫情传播模拟程序
Feb 14 Python
python在地图上画比例的实例详解
Nov 13 Python
pycharm中leetcode插件使用图文详解
Dec 07 Python
python 制作网站小说下载器
Feb 20 Python
Python办公自动化PPT批量转换操作
Sep 15 Python
公认8个效率最高的爬虫框架
Jul 28 #Python
python如何爬取网页中的文字
Jul 28 #Python
Python同时处理多个异常的方法
Jul 28 #Python
Python远程方法调用实现过程解析
Jul 28 #Python
Python 实现一个计时器
Jul 28 #Python
python爬虫要用到的库总结
Jul 28 #Python
Python常用类型转换实现代码实例
Jul 28 #Python
You might like
PHP下通过file_get_contents的代理使用方法
2011/02/16 PHP
PHP类中的魔术方法(Magic Method)简明总结
2014/07/08 PHP
PHP 导出Excel示例分享
2014/08/18 PHP
PHP实现上传多文件示例代码
2017/02/20 PHP
一个无限级XML绑定跨框架菜单(For IE)
2007/01/27 Javascript
javascript 学习之旅 (1)
2009/02/05 Javascript
基于jquery的$.ajax async使用
2011/10/19 Javascript
使用jQuery fancybox插件打造一个实用的数据传输模态弹出窗体
2013/01/15 Javascript
js日期时间补零的小例子
2013/03/05 Javascript
Javascript无阻塞加载具体方式
2013/06/28 Javascript
jQuery实现简单网页遮罩层/弹出层效果兼容IE6、IE7
2014/06/16 Javascript
JavaScript实现向setTimeout执行代码传递参数的方法
2015/04/16 Javascript
vuejs实现递归树型菜单组件
2018/01/13 Javascript
nodeJS模块简单用法示例
2018/04/21 NodeJs
JavaScript生成一个不重复的ID的方法示例
2019/09/16 Javascript
微信小程序顶部导航栏可滑动并选中放大
2019/12/05 Javascript
微信小程序开发数据缓存基础知识辨析及运用实例详解
2020/11/06 Javascript
原生jQuery实现只显示年份下拉框
2020/12/24 jQuery
[01:32]完美世界DOTA2联赛10月29日精彩集锦
2020/10/30 DOTA
python获取元素在数组中索引号的方法
2015/07/15 Python
python数据处理实战(必看篇)
2017/06/11 Python
python pygame模块编写飞机大战
2018/11/20 Python
python dict 相同key 合并value的实例
2019/01/21 Python
Python实现简单石头剪刀布游戏
2021/01/20 Python
Python中使用__new__实现单例模式并解析
2019/06/25 Python
python 实现目录复制的三种小结
2019/12/04 Python
浅谈pytorch池化maxpool2D注意事项
2020/02/18 Python
python之随机数函数的实现示例
2020/12/30 Python
详解基于Facecognition+Opencv快速搭建人脸识别及跟踪应用
2021/01/21 Python
css3.0 图形构成实例练习二
2013/03/19 HTML / CSS
CSS3制作ajax loader icon实现思路及代码
2013/08/25 HTML / CSS
《湘夫人》教学反思
2014/02/21 职场文书
计划生育宣传标语
2014/06/21 职场文书
区域经理岗位职责
2015/02/02 职场文书
LayUI+Shiro实现动态菜单并记住菜单收展的示例
2021/05/06 Javascript
Java移除无效括号的方法实现
2021/08/07 Java/Android