Python headers请求头如何实现快速添加


Posted in Python onNovember 03, 2020

1、为什么要设置headers?

在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。

对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。

2、 headers在哪里找?

谷歌或者火狐浏览器,在网页面上点击:右键?>检查?>剩余按照图中显示操作,需要按Fn+F5刷新出网页来

有的浏览器是点击:右键->查看元素,刷新

Python爬虫中Requests设置请求头Headers的方法

注意:headers中有很多内容,主要常用的就是user-agent 和 host,他们是以键对的形式展现出来,如果user-agent 以字典键对形式作为headers的内容,就可以反爬成功,就不需要其他键对;否则,需要加入headers下的更多键对形式。

代码如下

import re
# 下方引号内添加替换掉请求头内容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
  print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))

结果

Python headers请求头如何实现快速添加

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现批量获取指定文件夹下的所有文件的厂商信息
Sep 28 Python
python在控制台输出进度条的方法
Jun 20 Python
使用Python写个小监控
Jan 27 Python
django利用request id便于定位及给日志加上request_id
Aug 26 Python
Python实现合并两个有序链表的方法示例
Jan 31 Python
基于wxPython的GUI实现输入对话框(1)
Feb 27 Python
django中使用POST方法获取POST数据
Aug 20 Python
Python 模拟生成动态产生验证码图片的方法
Feb 01 Python
使用Bazel编译TensorBoard教程
Feb 15 Python
python梯度下降算法的实现
Feb 24 Python
python GUI库图形界面开发之PyQt5菜单栏控件QMenuBar的详细使用方法与实例
Feb 28 Python
python使用opencv resize图像不进行插值的操作
Jul 05 Python
python time()的实例用法
Nov 03 #Python
Python-openpyxl表格读取写入的案例详解
Nov 02 #Python
Python常用扩展插件使用教程解析
Nov 02 #Python
python实现三壶谜题的示例详解
Nov 02 #Python
python 实现批量图片识别并翻译
Nov 02 #Python
基于python实现百度语音识别和图灵对话
Nov 02 #Python
用python进行视频剪辑
Nov 02 #Python
You might like
BBS(php & mysql)完整版(四)
2006/10/09 PHP
php购物网站支付paypal使用方法
2010/11/28 PHP
php获取linux命令结果的实例
2017/03/13 PHP
基于Jquery的简单&简陋Tabs插件代码
2010/02/09 Javascript
javascript中不等于的代码是什么怎么写
2013/12/29 Javascript
Bootstrap每天必学之下拉菜单
2015/11/25 Javascript
原生js配合cookie制作保存路径的拖拽
2015/12/29 Javascript
超详细的JS弹出窗口代码大全
2020/04/18 Javascript
Javascript 判断两个IP是否在同一网段实例代码
2016/11/28 Javascript
jQuery实现动态添加tr到table的方法
2016/12/26 Javascript
微信小程序 视图容器组件的详解及实例代码
2017/01/19 Javascript
layui自己添加图片按钮并点击跳转页面的例子
2019/09/14 Javascript
p5.js实现故宫橘猫赏秋图动画
2019/10/23 Javascript
如何在vue 中引入使用jquery
2020/11/10 jQuery
echarts浮动显示单位的实现方法示例
2020/12/04 Javascript
Python的Flask框架中Flask-Admin库的简单入门指引
2015/04/07 Python
使用Python的Scrapy框架编写web爬虫的简单示例
2015/04/17 Python
Python利用递归和walk()遍历目录文件的方法示例
2017/07/14 Python
Python基于Socket实现的简单聊天程序示例
2017/08/05 Python
python利用dir函数查看类中所有成员函数示例代码
2017/09/08 Python
Python用imghdr模块识别图片格式实例解析
2018/01/11 Python
详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?
2019/05/07 Python
Python求正态分布曲线下面积实例
2019/11/20 Python
关于Keras模型可视化教程及关键问题的解决
2020/01/24 Python
浅谈Python3多线程之间的执行顺序问题
2020/05/02 Python
jupyter notebook运行命令显示[*](解决办法)
2020/05/18 Python
CSS3中的常用选择器使用示例整理
2016/06/13 HTML / CSS
html5指南-3.如何实现html元素拖拽功能
2013/01/07 HTML / CSS
Canvas中设置width与height的问题浅析
2018/11/01 HTML / CSS
web字体加载方案优化小结
2019/11/29 HTML / CSS
如何获得EntityManager
2014/02/09 面试题
行政助理的岗位职责
2014/02/18 职场文书
领导接待方案
2014/03/13 职场文书
大学生感恩父母演讲稿
2014/08/28 职场文书
社区志愿服务活动感想
2015/08/07 职场文书
Python何绘制带有背景色块的折线图
2022/04/23 Python