python爬虫添加请求头代码实例


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

request

import requests


headers = {
  # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  # 'Accept': '*/*',
  # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
  # 'Cache-Control': 'no-cache',
  # 'accept-encoding': 'gzip, deflate, br',
  'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
  'Referer': 'https://www.google.com/'
}

resp = requests.get('http://httpbin.org/get', headers=headers)
print(resp.content)

urllib

import urllib, urllib2
def get_page_source(url):
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  req = urllib2.Request(url, None, headers)
  response = urllib2.urlopen(req)
  page_source = response.read()
  return page_source

phantomjs请求页面

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
def get_headers_driver():
  desire = DesiredCapabilities.PHANTOMJS.copy()
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  for key, value in headers.iteritems():
    desire['phantomjs.page.customHeaders.{}'.format(key)] = value
  driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
  return driver

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 Python
python计算对角线有理函数插值的方法
May 07 Python
AI人工智能 Python实现人机对话
Nov 13 Python
python实现txt文件格式转换为arff格式
May 31 Python
python中for循环输出列表索引与对应的值方法
Nov 07 Python
Python 获取主机ip与hostname的方法
Dec 17 Python
PyQt5内嵌浏览器注入JavaScript脚本实现自动化操作的代码实例
Feb 13 Python
对Python3 goto 语句的使用方法详解
Feb 16 Python
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
Jan 25 Python
python 实现非极大值抑制算法(Non-maximum suppression, NMS)
Oct 15 Python
解决python的空格和tab混淆而报错的问题
Feb 26 Python
Python图片验证码降噪和8邻域降噪
Aug 30 Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
pytorch 实现tensor与numpy数组转换
Dec 27 #Python
You might like
PHILIPS L4X25T电路分析和打理
2021/03/02 无线电
php防止sql注入代码实例
2013/12/18 PHP
PHP编程求最大公约数与最小公倍数的方法示例
2017/05/29 PHP
PHP排序算法之基数排序(Radix Sort)实例详解
2018/04/21 PHP
利用PHP内置SERVER开启web服务(本地开发使用)
2021/03/09 PHP
Jquery截取中文字符串的实现代码
2010/12/22 Javascript
原生js事件的添加和删除的封装
2014/07/01 Javascript
Dojo Javascript 编程规范 规范自己的JavaScript书写
2014/10/26 Javascript
javascript函数式编程实例分析
2015/04/25 Javascript
javascript计时器编写过程与实现方法
2016/02/29 Javascript
微信小程序使用第三方库Immutable.js实例详解
2016/09/27 Javascript
xmlplus组件设计系列之分隔框(DividedBox)(8)
2017/05/02 Javascript
Vue Router去掉url中默认的锚点#
2018/08/01 Javascript
jquery获取img的src值实例介绍
2019/01/16 jQuery
[06:45]DOTA2卡尔工作室 英雄介绍幻影长矛手篇
2013/07/12 DOTA
Python实现远程调用MetaSploit的方法
2014/08/22 Python
Python+Selenium自动化实现分页(pagination)处理
2017/03/31 Python
Python 逐行分割大txt文件的方法
2017/10/10 Python
Python数据结构之栈、队列的实现代码分享
2017/12/04 Python
python中的字符串内部换行方法
2018/07/19 Python
pycharm创建scrapy项目教程及遇到的坑解析
2019/08/15 Python
使用pyqt 实现重复打开多个相同界面
2019/12/13 Python
浅谈对pytroch中torch.autograd.backward的思考
2019/12/27 Python
Python爬虫实现模拟点击动态页面
2020/03/05 Python
canvas拼图功能实现代码示例
2018/11/21 HTML / CSS
美国领先的家居装饰和礼品商店:Kirkland’s
2017/01/30 全球购物
您熟悉ORM(Object-Relation Mapping)吗?请谈谈您所理解的ORM
2016/02/08 面试题
汽车专业毕业生推荐信
2013/11/12 职场文书
幼儿园毕业教师感言
2014/02/21 职场文书
市场推广策划方案
2014/06/02 职场文书
入党积极分子学习党的纲领思想汇报
2014/09/13 职场文书
合法的离婚协议书范本
2014/10/23 职场文书
毕业设计指导教师评语
2014/12/30 职场文书
保证金退回承诺函格式
2015/01/21 职场文书
2015暑假实习报告范文
2015/07/13 职场文书
公司车辆管理制度
2015/08/04 职场文书