python3爬虫怎样构建请求header


Posted in Python onDecember 23, 2018

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。

1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。

python3爬虫怎样构建请求header

2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name”这里,我们点击name里面的任意文件即可。

python3爬虫怎样构建请求header

3、之后右边有一个headers,点击headers找到request headers,这个就是浏览器的请求报头了。

python3爬虫怎样构建请求header

4、然后复制其中的user-agent,其他的cookie还有Accept可以要也可以不要,主要是伪装成浏览器,所以我就用了user-agent

python3爬虫怎样构建请求header

5、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数(url,data,headers),如果有使用data就是post请求了,没有就是get请求。这里我没有data,所以我就指定headers=header,不然header就会被当成data了。

python3爬虫怎样构建请求header

6、请求对象rq就构造好了,然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

python3爬虫怎样构建请求header

 总结:以上就是关于python3爬虫怎样构建请求头的相关知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
Python的Flask框架中SQLAlchemy使用时的乱码问题解决
Nov 07 Python
Python时间戳使用和相互转换详解
Dec 11 Python
Windows环境下python环境安装使用图文教程
Mar 13 Python
Python读取mat文件,并转为csv文件的实例
Jul 04 Python
python 实现提取某个索引中某个时间段的数据方法
Feb 01 Python
Python3实现的旋转矩阵图像算法示例
Apr 03 Python
python打包exe开机自动启动的实例(windows)
Jun 28 Python
Pytorch之Variable的用法
Dec 31 Python
Python 多线程共享变量的实现示例
Apr 17 Python
pycharm激活方法到2099年(激活流程)
Sep 22 Python
利于python脚本编写可视化nmap和masscan的方法
Dec 29 Python
python实现股票历史数据可视化分析案例
Jun 10 Python
windows下搭建python scrapy爬虫框架步骤
Dec 23 #Python
python构建基础的爬虫教学
Dec 23 #Python
Flask之请求钩子的实现
Dec 23 #Python
python爬虫获取新浪新闻教学
Dec 23 #Python
Python爬虫文件下载图文教程
Dec 23 #Python
python爬虫获取百度首页内容教学
Dec 23 #Python
Python爬虫设置代理IP(图文)
Dec 23 #Python
You might like
ExtJS与PHP、MySQL实现存储的方法
2010/04/02 PHP
PHP魔术引号所带来的安全问题分析
2014/07/15 PHP
标准PHP的AES加密算法类
2015/03/12 PHP
如何实现php图片等比例缩放
2015/07/28 PHP
WordPress导航菜单的滚动和淡入淡出效果的实现要点
2015/12/14 PHP
PHP设计模式之工厂方法设计模式实例分析
2018/04/25 PHP
Laravel获取当前请求的控制器和方法以及中间件的例子
2019/10/11 PHP
33种Javascript 表格排序控件收集
2009/12/03 Javascript
js 幻灯片的实现
2011/12/06 Javascript
图片动画横条广告带上下滚动的JS代码
2013/10/25 Javascript
js实现点击后将文字或图片复制到剪贴板的方法
2014/08/04 Javascript
javascript 自定义回调函数示例代码
2014/09/26 Javascript
jQuery实现HTML5 placeholder效果实例
2014/12/09 Javascript
在Node.js应用中使用Redis的方法简介
2015/06/24 Javascript
原生JS实现-星级评分系统的简单实例
2016/08/21 Javascript
JavaScript 控制字体大小设置的方法
2016/11/23 Javascript
es6的数字处理的方法(5个)
2017/03/16 Javascript
整理关于Bootstrap过渡动画的慕课笔记
2017/03/29 Javascript
JavaScript反射与依赖注入实例详解
2018/05/29 Javascript
Vue 之孙组件向爷组件通信的实现
2019/04/23 Javascript
vue实现后台管理权限系统及顶栏三级菜单显示功能
2019/06/19 Javascript
在vue中高德地图引入和轨迹的绘制的实现
2019/10/11 Javascript
nodeJS与MySQL实现分页数据以及倒序数据
2020/06/05 NodeJs
[34:08]2018DOTA2亚洲邀请赛3月29日 小组赛B组 VP VS EG
2018/03/30 DOTA
下载python中Crypto库报错:ModuleNotFoundError: No module named ‘Crypto’的解决
2018/04/23 Python
关于python2 csv写入空白行的问题
2018/06/22 Python
使用Python制作自动推送微信消息提醒的备忘录功能
2018/09/06 Python
python如何查看微信消息撤回
2018/11/27 Python
Django的用户模块与权限系统的示例代码
2019/07/24 Python
LG西班牙网上商店:Tienda LG Online Es
2019/07/30 全球购物
求网格中的黑点分布
2013/11/06 面试题
const和static readonly区别
2013/05/20 面试题
驾驶员岗位职责
2014/01/29 职场文书
运动会入场词50字
2014/02/20 职场文书
初中班主任工作总结2015
2015/05/13 职场文书
业务员管理制度范本
2015/08/06 职场文书