python爬虫请求头的使用


Posted in Python onDecember 01, 2020

爬虫请求头

网页获取:

通过urlopen来进行获取

requset.urlopen(url,data,timeout)

第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。
第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要加入的,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面

from urllib.request import urlopen

url = "https://www.baidu.com/"
respons = urlopen(url)#最简单的爬取情况这样爬取大部分网页无法爬取成功

response对象:

response.read()
read()方法就是读取文件里的全部内容,返回bytes类型

print(type(respons.read()))#结果为bytes类型所以需要进行转码
print(type(respons.read().decode()))#通过decode转码结果为str

response.getcode()
返回 HTTP的响应码,成功返回200,4服务器页面出错,5服务器问题

response.geturl()
返回 返回实际数据的实际URL,防止重定向问题

response.info()
返回 服务器响应的HTTP报头

Request对象

Request对象,由于urlopen参数可以传入一个request请求(可以理解成为再加一步封装的功能)因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确

from urllib.request import urlopen,Request
from fake_useragent import UserAgent#这个包可以随机生成User-Agent

url = "https://www.baidu.com/"
headers = {"User-Agent":UserAgent().firefox}#生成火狐的
request = Request(url,headers=headers)
response = urlopen(request)

a=response.read().decode()

Get请求

浏览器通过GET方法发出请求
爬虫主要通过get再url中加入请求的参数,由于中文的需要转码通过
Urllib.parse.urlencode() 针对多个参数进行转码操作输入格式为字典类型
Urllib.parse.quote() 针对单个字符串进行转码操作
Str格式.format( ) 用于拼接字符串

post请求

一般在需要登录的地方用的比较多
需要在request请求中加如一个data用来传入参数
参数的形式要以字典格式通过urllib.parse.urlencode()进行转换成字符串形式
再通过encode()函数对字符串进行转码(默认值就可以)

发送请求/响应header头的含义

名称 含义
Accept 告诉服务器,客户端支持的数据类型
Accept-Charset 告诉服务器,客户端采用的编码
Accept-Encoding 告诉服务器,客户机支持的数据压缩格式
Accept-Language 告诉服务器,客户机的语言环境
Host 客户机通过这个头告诉服务器,想访问的主机名
If-Modified-Since 客户机通过这个头告诉服务器,资源的缓存时间
Referer 客户机通过这个头告诉服务器,它是从哪个资源来访问服务器的。(一般用于防盗链)
User-Agent 客户机通过这个头告诉服务器,客户机的软件环境
Cookie 客户机通过这个头告诉服务器,可以向服务器带数据
Refresh 服务器通过这个头,告诉浏览器隔多长时间刷新一次
Content-Type 服务器通过这个头,回送数据的类型
Content-Language 服务器通过这个头,告诉服务器的语言环境
Server 服务器通过这个头,告诉浏览器服务器的类型
Content-Encoding 服务器通过这个头,告诉浏览器数据采用的压缩格式
Content-Length 服务器通过这个头,告诉浏览器回送数据的长度

Ajax请求
用于提取动态的页面 网页数据根据拖动进行显示
通过浏览器工具箱,查找包的信息,找到url的规律进行爬取
如果无法知道要循环多少次则规定一个死循环,爬取页面为空时停止循环
也可以通过改变url一次性输出更多的网页信息(只要服务器允许)

https请求
因为在有些浏览器中存在很多证书所以在大部分网页爬取的时候不用改变证书或者添加证书但有些自己写证书的网站需要进行这一步操作
https请求=在http上加ssl,http请求是明文直接可以看见,为了安全要加上ssl
可以选择忽略证书进行爬取 context = ssl._create_unverified_context()

到此这篇关于python爬虫请求头的使用的文章就介绍到这了,更多相关python爬虫请求头内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python计算auc指标实例
Jul 13 Python
Python中static相关知识小结
Jan 02 Python
python 接口返回的json字符串实例
Mar 27 Python
python实现对求解最长回文子串的动态规划算法
Jun 02 Python
python实现下载pop3邮件保存到本地
Jun 19 Python
python给微信好友定时推送消息的示例
Feb 20 Python
使用python telnetlib批量备份交换机配置的方法
Jul 25 Python
使用python客户端访问impala的操作方式
Mar 28 Python
Python 实现自动完成A4标签排版打印功能
Apr 09 Python
Python virtualenv虚拟环境实现过程解析
Apr 18 Python
Python插件机制实现详解
May 04 Python
Tensorflow tf.tile()的用法实例分析
May 22 Python
在pycharm创建scrapy项目的实现步骤
Dec 01 #Python
Python实现迪杰斯特拉算法并生成最短路径的示例代码
Dec 01 #Python
python 检测图片是否有马赛克
Dec 01 #Python
python中pop()函数的语法与实例
Dec 01 #Python
python爬虫多次请求超时的几种重试方法(6种)
Dec 01 #Python
python爬虫搭配起Bilibili唧唧的流程分析
Dec 01 #Python
python爬虫看看虎牙女主播中谁最“顶”步骤详解
Dec 01 #Python
You might like
php Try Catch异常测试
2009/03/01 PHP
火车采集器 免费版使出收费版本功能实现原理
2009/09/17 PHP
在php中判断一个请求是ajax请求还是普通请求的方法
2011/06/28 PHP
PHP MySQL应用中使用XOR运算加密算法分享
2011/08/28 PHP
用php实现百度网盘图片直链的代码分享
2012/11/01 PHP
PHP得到mssql的存储过程的输出参数功能实现
2012/11/23 PHP
php实现的debug log日志操作类实例
2016/07/12 PHP
在IIS下安装PHP扩展的方法(超简单)
2017/04/10 PHP
Windows服务器中PHP如何安装redis扩展
2019/09/27 PHP
checkbox勾选判断代码分析
2014/06/11 Javascript
Node.js中使用计时器定时执行函数详解
2014/08/15 Javascript
检测一个函数是否是JavaScript原生函数的小技巧
2015/03/13 Javascript
JavaScript学习笔记之取数组中最大值和最小值
2016/03/23 Javascript
Node.js如何自动审核团队的代码
2016/07/20 Javascript
jQuery动态生成Bootstrap表格
2016/11/01 Javascript
JS实现获取毫秒值及转换成年月日时分秒的方法
2018/08/15 Javascript
jQuery 查找元素操作实例小结
2019/10/02 jQuery
javascript设计模式 ? 解释器模式原理与用法实例分析
2020/04/17 Javascript
elementUI同一页面展示多个Dialog的实现
2020/11/19 Javascript
Nest.js 授权验证的方法示例
2021/02/22 Javascript
python编程实现归并排序
2017/04/14 Python
Python第三方库h5py_读取mat文件并显示值的方法
2019/02/08 Python
PyTorch实现更新部分网络,其他不更新
2019/12/31 Python
Ubuntu配置Pytorch on Graph (PoG)环境过程图解
2020/11/19 Python
纯DOM+CSS3实现简单的小风车动画
2016/09/27 HTML / CSS
Groupon比利时官方网站:特卖和网上购物高达-70%
2019/08/09 全球购物
Java平台和其他软件平台有什么不同
2015/06/05 面试题
北京-环亚运商测试题.net程序员初步测试题
2013/05/28 面试题
秋季运动会表扬稿
2014/01/16 职场文书
服务之星获奖感言
2014/01/21 职场文书
优秀团干部个人事迹
2014/05/29 职场文书
政治学求职信
2014/06/03 职场文书
个人欠款协议书范本2014
2014/11/02 职场文书
七年级写作指导之游记作文
2019/10/07 职场文书
pandas求平均数和中位数的方法实例
2021/08/04 Python
FFmpeg视频处理入门教程(新手必看)
2022/01/22 杂记