python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python简单实现基数排序算法
May 16 Python
Python内置函数OCT详解
Nov 09 Python
python3.5+tesseract+adb实现西瓜视频或头脑王者辅助答题
Jan 17 Python
python实现壁纸批量下载代码实例
Jan 25 Python
浅谈python连续赋值可能引发的错误
Nov 10 Python
Python闭包思想与用法浅析
Dec 27 Python
24式加速你的Python(小结)
Jun 13 Python
python模块导入的方法
Oct 24 Python
python单例模式原理与创建方法实例分析
Oct 26 Python
Django框架安装方法图文详解
Nov 04 Python
Ranorex通过Python将报告发送到邮箱的方法
Jan 12 Python
使用 Python 读取电子表格中的数据实例详解
Apr 17 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
PHP与SQL注入攻击[三]
2007/04/17 PHP
php 备份数据库代码(生成word,excel,json,xml,sql)
2013/06/23 PHP
浅谈Yii乐观锁的使用及原理
2017/07/25 PHP
CSS JavaScript 实现菜单功能 改进版
2008/12/09 Javascript
JavaScript入门教程(9) Document文档对象
2009/01/31 Javascript
javascript OFFICE控件测试代码
2009/12/08 Javascript
什么是DOM(Document Object Model)文档对象模型
2012/03/05 Javascript
select标记美化--JS式插件、后期加载
2013/04/01 Javascript
JavaScript中的this关键字介绍与使用实例
2013/06/21 Javascript
Jquery 模板数据绑定插件的使用方法详解
2013/07/08 Javascript
JS实现关键字搜索时的相关下拉字段效果
2014/08/05 Javascript
浅谈JavaScript中定义变量时有无var声明的区别
2014/08/18 Javascript
js获取字符串字节数方法小结
2015/06/09 Javascript
JQuery鼠标移到小图显示大图效果的方法
2015/06/10 Javascript
详解JavaScript中的Unescape()和String() 函数
2015/11/09 Javascript
关于不同页面之间实现参数传递的几种方式讨论
2017/02/13 Javascript
基于vue实现图片验证码倒计时60s功能
2019/12/10 Javascript
[02:23]1个至宝=115个英雄特效 最“绿”至宝拉比克“魔导师密钥”登场
2018/12/29 DOTA
分享15个最受欢迎的Python开源框架
2014/07/13 Python
python生成日历实例解析
2014/08/21 Python
Python查找相似单词的方法
2015/03/05 Python
pyenv命令管理多个Python版本
2017/03/26 Python
python中从str中提取元素到list以及将list转换为str的方法
2018/06/26 Python
python requests 测试代理ip是否生效
2018/07/25 Python
python配置grpc环境
2019/01/01 Python
Python @property装饰器原理解析
2020/01/22 Python
新手学习Python2和Python3中print不同的用法
2020/06/09 Python
Python如何定义接口和抽象类
2020/07/28 Python
Node.js 和 Python之间该选择哪个?
2020/08/05 Python
宝拉珍选美国官网:Paula’s Choice美国
2018/01/07 全球购物
高校自主招生自荐信
2013/12/09 职场文书
思想政治教育专业个人求职信范文
2013/12/20 职场文书
乡下人家教学反思
2014/02/01 职场文书
学生鉴定评语大全
2014/05/05 职场文书
2014小学教师个人工作总结
2014/11/10 职场文书
我的1919观后感
2015/06/03 职场文书