python爬虫添加请求头代码实例


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

request

import requests


headers = {
  # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  # 'Accept': '*/*',
  # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
  # 'Cache-Control': 'no-cache',
  # 'accept-encoding': 'gzip, deflate, br',
  'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
  'Referer': 'https://www.google.com/'
}

resp = requests.get('http://httpbin.org/get', headers=headers)
print(resp.content)

urllib

import urllib, urllib2
def get_page_source(url):
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  req = urllib2.Request(url, None, headers)
  response = urllib2.urlopen(req)
  page_source = response.read()
  return page_source

phantomjs请求页面

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
def get_headers_driver():
  desire = DesiredCapabilities.PHANTOMJS.copy()
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  for key, value in headers.iteritems():
    desire['phantomjs.page.customHeaders.{}'.format(key)] = value
  driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
  return driver

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python字符串编码识别模块chardet简单应用
Jun 15 Python
Python中import导入上一级目录模块及循环import问题的解决
Jun 04 Python
利用Python批量生成任意尺寸的图片
Aug 29 Python
使用python装饰器计算函数运行时间的实例
Apr 21 Python
78行Python代码实现现微信撤回消息功能
Jul 26 Python
python创建文件时去掉非法字符的方法
Oct 31 Python
Python模块的加载讲解
Jan 15 Python
Python中的集合介绍
Jan 28 Python
python把ipynb文件转换成pdf文件过程详解
Jul 09 Python
基于Python检测动态物体颜色过程解析
Dec 04 Python
Python类继承和多态原理解析
Feb 05 Python
Django values()和value_list()的使用
Mar 31 Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
pytorch 实现tensor与numpy数组转换
Dec 27 #Python
You might like
paypal即时到账php实现代码
2010/11/28 PHP
php中使用临时表查询数据的一个例子
2013/02/03 PHP
PHP用星号隐藏部份用户名、身份证、IP、手机号等实例
2014/04/08 PHP
PHP 双链表(SplDoublyLinkedList)简介和使用实例
2015/05/12 PHP
Yii2使用swiftmailer发送邮件的方法
2016/05/03 PHP
laravel5.0在linux下解决.htaccess无效和去除index.php的问题
2019/10/16 PHP
Javascript 文件夹选择框的两种解决方案
2009/07/01 Javascript
jQuery 中DOM 操作详解
2015/01/13 Javascript
JavaScript实现带标题的图片轮播特效
2015/05/20 Javascript
理解Javascript图片预加载
2016/02/23 Javascript
jQuery代码实现表格中点击相应行变色功能
2016/05/09 Javascript
分享jQuery封装好的一些常用操作
2016/07/28 Javascript
JS简单实现获取元素的封装操作示例
2017/04/07 Javascript
Express使用html模板的详细代码
2017/09/18 Javascript
angular4实现tab栏切换的方法示例
2017/10/21 Javascript
Vue头像处理方案小结
2018/07/26 Javascript
获取layer.open弹出层的返回值方法
2018/08/20 Javascript
vue使用原生swiper代码实例
2020/02/05 Javascript
JS面向对象编程实现的Tab选项卡案例详解
2020/03/03 Javascript
使用vue cli4.x搭建vue项目的过程详解
2020/05/08 Javascript
three.js中多线程的使用及性能测试详解
2021/01/07 Javascript
[08:44]DOTA2发布会群星聚首 我们都是刀塔人
2014/03/21 DOTA
[01:08]DOTA2次级职业联赛 - Wings 战队宣传片
2014/12/01 DOTA
Python的Flask框架中Flask-Admin库的简单入门指引
2015/04/07 Python
Python处理JSON数据并生成条形图
2016/08/05 Python
Python 正则表达式入门(中级篇)
2016/12/07 Python
OPENCV去除小连通区域,去除孔洞的实例讲解
2018/06/21 Python
Python实现账号密码输错三次即锁定功能简单示例
2019/03/29 Python
Flask模板引擎Jinja2使用实例
2020/04/23 Python
Python实现自动装机功能案例分析
2020/10/22 Python
Myprotein瑞典官方网站:畅销欧洲英国运动营养品牌
2018/01/22 全球购物
澳大利亚家具和家居用品在线商店:Interiors Online
2018/03/05 全球购物
房产销售经理职责
2013/12/20 职场文书
劳动工资科岗位职责范本
2014/03/02 职场文书
幼儿园健康教育方案
2014/06/14 职场文书
2014年大学班级工作总结
2014/11/14 职场文书