python爬虫基础教程:requests库(二)代码实例


Posted in Python onApril 09, 2019

get请求

简单使用

import requests
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
response = requests.get("https://www.baidu.com/")
#text返回的是unicode的字符串,可能会出现乱码情况
# print(response.text)
 
#content返回的是字节,需要解码
print(response.content.decode('utf-8'))
 
 
# print(response.url)       #https://www.baidu.com/
# print(response.status_code)   #200
# print(response.encoding)    #ISO-8859-1

添加headers和params

import requests
 
params = {
  'wd':'python'
}
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'
}
 
response = requests.get("https://www.baidu.com/s",params=params,headers=headers)
 
#content返回的是字节,需要解码
with open('baidu.html','w',encoding='utf-8') as f:
  f.write(response.content.decode('utf-8'))

POST请求

爬去拉钩网职位信息

import requests
 
url = "https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false"
 
data = {
  'first':'true',
  'pn':1,
  'kd':'python'
}
 
headers = {
  "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36",
  "Referer":"https://www.lagou.com/jobs/list_python?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput="
}
 
response = requests.post(url,data=data,headers=headers)
# print(response.text)
print(type(response.text))    #<class 'str'>
print(type(response.json()))   #<class 'dict'>
 
print(response.json())      #获取为字典的形式

使用代理

import requests
 
proxy = {'http':'115.210.31.236.55:9000'}
 
response = requests.get("https://www.baidu.com/",proxies=proxy)
 
print(response.content.decode('utf-8'))

session登录

# _*_ coding:utf-8 _*_
 
import requests
 
# 1. 创建session对象,可以保存Cookie值
ssion = requests.session()
 
# 2. 处理 headers
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
 
# 3. 需要登录的用户名和密码
data = {"email":"158xxxxxxxx", "password":"pythonxxxxxxx"}
 
# 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)
 
# 5. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://zhibo.renren.com/news/108")
 
# 6. 打印响应内容
print(response.text)
 

以上所述是小编给大家介绍的python爬虫基础教程:requests库(二)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python isinstance函数介绍
Apr 14 Python
简介Python的collections模块中defaultdict类型的用法
Jul 07 Python
Python中一些不为人知的基础技巧总结
May 19 Python
Python requests库用法实例详解
Aug 14 Python
Python发送邮件测试报告操作实例详解
Dec 08 Python
Django之编辑时根据条件跳转回原页面的方法
Aug 21 Python
python redis 批量设置过期key过程解析
Nov 26 Python
Python通过正则库爬取淘宝商品信息代码实例
Mar 02 Python
Python 日期时间datetime 加一天,减一天,加减一小时一分钟,加减一年
Apr 16 Python
Python unittest单元测试openpyxl实现过程解析
May 27 Python
在tensorflow下利用plt画论文中loss,acc等曲线图实例
Jun 15 Python
健身房被搭讪?用python写了个小米计时器助人为乐
Jun 08 Python
一个可以套路别人的python小程序实例代码
Apr 09 #Python
Python装饰器限制函数运行时间超时则退出执行
Apr 09 #Python
详解Python 解压缩文件
Apr 09 #Python
Python使用pandas和xlsxwriter读写xlsx文件的方法示例
Apr 09 #Python
Python中使用logging和traceback模块记录日志和跟踪异常
Apr 09 #Python
由Python编写的MySQL管理工具代码实例
Apr 09 #Python
python实现爬山算法的思路详解
Apr 09 #Python
You might like
windows server 2008/2012安装php iis7 mysql环境搭建教程
2016/06/30 PHP
PHP实现对xml的增删改查操作案例分析
2017/05/19 PHP
PHP清除缓存的几种方法总结
2017/09/12 PHP
返回上一页并自动刷新的JavaScript代码
2014/02/19 Javascript
javascript实现的一个带下拉框功能的文本框
2014/05/08 Javascript
select多选 multiple的使用示例
2014/06/16 Javascript
一个仿糯米弹框效果demo
2014/07/22 Javascript
jQuery中wrapInner()方法用法实例
2015/01/16 Javascript
jquery实现submit提交表单
2015/02/03 Javascript
浅谈JavaScript for循环 闭包
2016/06/22 Javascript
js 打开新页面在屏幕中间的实现方法
2016/11/02 Javascript
Vue.js组件tabs实现选项卡切换效果
2016/12/01 Javascript
javascript 数据存储的常用函数总结
2017/06/01 Javascript
谈谈vue中mixin的一点理解
2017/12/12 Javascript
使用javascript做在线算法编程
2018/05/25 Javascript
react在安卓中输入框被手机键盘遮挡问题的解决方法
2018/09/03 Javascript
JS实现打砖块游戏
2020/02/14 Javascript
javascript实现获取中文汉字拼音首字母
2020/05/19 Javascript
js瀑布流布局的实现
2020/06/28 Javascript
Element Dialog对话框的使用示例
2020/07/26 Javascript
实现python版本的按任意键继续/退出
2016/09/26 Python
【Python】Python的urllib模块、urllib2模块批量进行网页下载文件
2016/11/19 Python
python函数中return后的语句一定不会执行吗?
2017/07/06 Python
对Python中数组的几种使用方法总结
2018/06/28 Python
Python多继承原理与用法示例
2018/08/23 Python
pytorch 准备、训练和测试自己的图片数据的方法
2020/01/10 Python
Pycharm如何运行.py文件的方法步骤
2020/03/03 Python
Matlab中plot基本用法的具体使用
2020/07/17 Python
Html5 FileReader实现即时上传图片功能实例代码
2014/09/01 HTML / CSS
Oracle性能调优原则
2012/05/03 面试题
linux面试题参考答案(8)
2016/04/19 面试题
如何开启linux的ssh服务
2013/06/03 面试题
本科生就业推荐信
2014/05/19 职场文书
法人代表身份证明书及授权委托书
2014/09/16 职场文书
政府班子四风问题整改措施思想汇报
2014/10/08 职场文书
dubbo服务整合zipkin详解
2021/07/26 Java/Android