Python headers请求头如何实现快速添加


Posted in Python onNovember 03, 2020

1、为什么要设置headers?

在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。

对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。

2、 headers在哪里找?

谷歌或者火狐浏览器,在网页面上点击:右键?>检查?>剩余按照图中显示操作,需要按Fn+F5刷新出网页来

有的浏览器是点击:右键->查看元素,刷新

Python爬虫中Requests设置请求头Headers的方法

注意:headers中有很多内容,主要常用的就是user-agent 和 host,他们是以键对的形式展现出来,如果user-agent 以字典键对形式作为headers的内容,就可以反爬成功,就不需要其他键对;否则,需要加入headers下的更多键对形式。

代码如下

import re
# 下方引号内添加替换掉请求头内容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
  print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))

结果

Python headers请求头如何实现快速添加

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python3.0 字典key排序
Dec 24 Python
Jupyter notebook在mac:linux上的配置和远程访问的方法
Jan 14 Python
Django csrf 两种方法设置form的实例
Feb 03 Python
浅谈python常用程序算法
Mar 22 Python
pyqt5 键盘监听按下enter 就登陆的实例
Jun 25 Python
Python字符编码转码之GBK,UTF8互转
Feb 09 Python
python学习将数据写入文件并保存方法
Jun 07 Python
Python面向对象特殊属性及方法解析
Sep 16 Python
Django正则URL匹配实现流程解析
Nov 13 Python
使用python对excel表格处理的一些小功能
Jan 25 Python
如何使用PyCharm及常用配置详解
Jun 03 Python
python实现双向链表原理
May 25 Python
python time()的实例用法
Nov 03 #Python
Python-openpyxl表格读取写入的案例详解
Nov 02 #Python
Python常用扩展插件使用教程解析
Nov 02 #Python
python实现三壶谜题的示例详解
Nov 02 #Python
python 实现批量图片识别并翻译
Nov 02 #Python
基于python实现百度语音识别和图灵对话
Nov 02 #Python
用python进行视频剪辑
Nov 02 #Python
You might like
php中遍历二维数组并以表格的形式输出的方法
2017/01/03 PHP
PHP验证码类ValidateCode解析
2017/01/07 PHP
PHP 记录访客的浏览信息方法
2018/01/29 PHP
JavaScript中var关键字的使用详解
2015/08/14 Javascript
JS+CSS实现TreeMenu二级树形菜单完整实例
2015/09/18 Javascript
JS之获取样式的简单实现方法(推荐)
2016/09/13 Javascript
express文件上传中间件Multer详解
2016/10/24 Javascript
分析javascript中9 个常见错误阻碍你进步
2017/09/18 Javascript
JavaScript设计模式之调停者模式实例详解
2018/02/03 Javascript
JavaScript引用类型RegExp基本用法详解
2018/08/09 Javascript
[05:05]给小松五分钟系列 第二期介绍为什么打DOTA2
2014/07/02 DOTA
[57:22]完美世界DOTA2联赛PWL S2 FTD vs PXG 第二场 11.27
2020/12/01 DOTA
[59:53]DOTA2-DPC中国联赛 正赛 VG vs Elephant BO3 第二场 3月6日
2021/03/11 DOTA
Python实现类似比特币的加密货币区块链的创建与交易实例
2018/03/20 Python
python3实现斐波那契数列(4种方法)
2019/07/15 Python
Python短信轰炸的代码
2020/03/25 Python
python如何设置静态变量
2020/09/07 Python
用python对excel查重
2020/12/07 Python
python可视化分析的实现(matplotlib、seaborn、ggplot2)
2021/02/03 Python
HTML5拖拽的简单实例
2016/05/30 HTML / CSS
使用spring mvc+localResizeIMG实现HTML5端图片压缩上传的功能
2016/12/16 HTML / CSS
欧缇丽美国官网:Caudalie美国
2016/12/31 全球购物
时尚孕妇装:HATCH Collection
2019/09/24 全球购物
高级3D打印市场:Gambody
2019/12/26 全球购物
请写出char *p与"零值"比较的if语句
2014/09/24 面试题
vue实现倒计时功能
2021/03/24 Vue.js
学前教育专业毕业生自荐信
2013/10/03 职场文书
文明礼仪伴我行演讲稿
2014/05/12 职场文书
《中国梦我的梦》大学生演讲稿
2014/08/20 职场文书
2014年优质护理服务工作总结
2014/11/14 职场文书
工作经验交流材料
2014/12/30 职场文书
老乡聚会通知
2015/04/23 职场文书
病假条格式范文
2015/08/17 职场文书
2016国培研修心得体会
2016/01/08 职场文书
Python基础之常用库常用方法整理
2021/04/30 Python
详解mysql三值逻辑与NULL
2021/05/19 MySQL