python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python搭建简易服务器分析与实现
Dec 15 Python
横向对比分析Python解析XML的四种方式
Mar 30 Python
Python编写Windows Service服务程序
Jan 04 Python
Python lambda函数基本用法实例分析
Mar 16 Python
Python搭建代理IP池实现获取IP的方法
Oct 27 Python
python运用pygame库实现双人弹球小游戏
Nov 25 Python
tensorflow实现打印ckpt模型保存下的变量名称及变量值
Jan 04 Python
Python Pillow.Image 图像保存和参数选择方式
Jan 09 Python
Python3.7实现验证码登录方式代码实例
Feb 14 Python
python 实现rolling和apply函数的向下取值操作
Jun 08 Python
使用Python pip怎么升级pip
Aug 11 Python
python3处理word文档实例分析
Dec 01 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
PHP中time(),date(),mktime()区别介绍
2013/09/28 PHP
php实现文件下载实例分享
2014/06/02 PHP
php pdo操作数据库示例
2017/03/10 PHP
php/JS实现的生成随机密码(验证码)功能示例
2019/06/06 PHP
php使用scandir()函数扫描指定目录下所有文件示例
2019/06/08 PHP
详细分析PHP 命名空间(namespace)
2020/06/30 PHP
jQuery Lightbox 图片展示插件使用说明
2010/04/25 Javascript
学习面向对象之面向对象的术语
2010/11/30 Javascript
JavaScript 判断用户输入的邮箱及手机格式是否正确
2013/12/08 Javascript
跨域传值即主页面与iframe之间互相传值
2013/12/09 Javascript
关于Javascript 对象(object)的prototype
2014/05/09 Javascript
JavaScript预解析及相关技巧分析
2016/04/21 Javascript
Javascript中引用类型传递的知识点小结
2017/03/06 Javascript
js随机生成一个验证码
2017/06/01 Javascript
AngularJs实现聊天列表实时刷新功能
2017/06/15 Javascript
JavaScript取得gridview中获取checkbox选中的值
2017/07/24 Javascript
详解nodejs中express搭建权限管理系统
2017/09/15 NodeJs
微信小程序实现的日期午别医生排班表功能示例
2019/01/09 Javascript
微信小程序里引入SVG矢量图标的方法
2019/09/20 Javascript
JS array数组检测方式解析
2020/05/19 Javascript
JS实现纸牌发牌动画
2021/01/19 Javascript
[49:05]OG vs Newbee 2019DOTA2国际邀请赛淘汰赛 胜者组 BO3 第二场 8.21.mp4
2020/07/19 DOTA
讲解Python中fileno()方法的使用
2015/05/24 Python
浅谈pyhton学习中出现的各种问题(新手必看)
2017/05/17 Python
Python扩展内置类型详解
2018/03/26 Python
彻底理解Python中的yield关键字
2019/04/01 Python
Python学习笔记之集合的概念和简单使用示例
2019/08/22 Python
python程序 创建多线程过程详解
2019/09/23 Python
python中sys模块是做什么用的
2020/08/16 Python
英国足球店:UK Soccer Shop
2017/11/19 全球购物
SNIDEL官网:日本VIVI杂志人气少女第一品牌
2020/03/12 全球购物
工程师求职简历的自我评价分享
2013/10/10 职场文书
人事专员的岗位职责
2014/03/01 职场文书
大四学生找工作的自荐信
2014/03/27 职场文书
自荐信大全
2019/03/21 职场文书
Python+Selenium实现读取网易邮箱验证码
2022/03/13 Python