python爬虫入门教程--利用requests构建知乎API(三)


Posted in Python onMay 25, 2017

前言

在爬虫系列文章 优雅的HTTP库requests 中介绍了 requests 的使用方式,这一次我们用 requests 构建一个知乎 API,功能包括:私信发送、文章点赞、用户关注等,因为任何涉及用户操作的功能都需要登录后才操作,所以在阅读这篇文章前建议先了解Python模拟知乎登录 。现在假设你已经知道如何用 requests 模拟知乎登录了。

思路分析

发送私信的过程就是浏览器向服务器发送一个 HTTP 请求,请求报文包括请求 URL、请求头 Header、还有请求体 Body,只要把这些信息弄清楚,那么就很容易用 requests 来模拟浏览器发送私信了。

打开 Chrome 浏览器,随便找一个用户,点击发送私信,追踪一下私信的网络请求过程。

先看下请求头信息

python爬虫入门教程--利用requests构建知乎API(三)

请求头 Header 中有 cookies 登录信息,此外还有一个 authorization 字段,该字段是用于用户认证的,同时这个字段也存在 cookies 中(为了防止 cookie 信息泄露,我打了马赛克), requests 请求时这些信息都必须携带上。

再来看看请求的URL和请求体

python爬虫入门教程--利用requests构建知乎API(三)

请求URL是 https://www.zhihu.com/api/v4/messages ,请求方法是 POST,请求体

{"type":"common","content":"你好,我是pythoner","receiver_hash":"1da75b85900e00adb072e91c56fd9149"}

请求体是一个 json 字符串,type 和 content 很好理解,但 receiver_hash 是什么并不知道,需要进一步确定,不过你应该猜得出这是类似于用户 id 的字段。

那么现在问题来了,如何通过用户主页的URL找到用户的 id 呢?为了完整的模拟私信的整个流程,我特地注册了一个知乎小号。

如果你手头没有多余的手机号,可以用 Google 搜「receive sms online」,网上很多提供免费在线接收短信的手机号码,我注册的小号主页:https://www.zhihu.com/people/xiaoxiaodouzi

先尝试关注小号,然后在我关注的列表中找到该小号,把鼠标移到小号的头像处时,发现有一个 HTTP 网络请求。

python爬虫入门教程--利用requests构建知乎API(三)

请求 url 是 https://www.zhihu.com/api/v4/members/xiaoxiaodouzi ,这个URL的后面部分「xiaoxiaodouzi」对应小号主页URL的后面部分,这部分我们称之为 url_token。

接口的返回数据是该用户的个人公开信息。

{ 
 ...
 "id":"1da75b85900e00adb072e91c56fd9149",
 "favorite_count":0,
 "voteup_count":0,
 "commercial_question_count":0,
 "url_token":"xiaoxiaodouzi",
 "type":"people",
 "avatar_url":"https://pic1.zhimg.com/v2-ca13758626bd7367febde704c66249ec_is.jpg",
 "is_active":1492224390,
 "name":"\u6211\u662f\u5c0f\u53f7",
 "url":"http://www.zhihu.com/api/v4/people/1da75b85900e00adb072e91c56fd9149",
 "gender":-1
 ...
}

我们可以很清楚的看到有个id的字段,跟我们之前猜测的一样,私信里面的 receiver_hash 字段就是用户的id。

代码实现

到此我们把私信功能的思路理清楚了,代码实现就是水到渠成的事情了。

用户信息

为了得到私信接口需要的 receiver_hash 字典,我们先要获取用户信息,该信息里面含有用于的id值。

@need_login
def user(self, url_token):
 """
 获取用户信息,
 :param url_token:
 url_token 是用户主页url中后面部分
 例如: https://www.zhihu.com/people/xiaoxiaodouzi
 url_token 是 xiaoxiaodouzi
 :return:dict
 """
 response = self._session.get(URL.profile(url_token))
 return response.json()

发送私信

@need_login
def send_message(self, user_id, content):
 """
 给指定的用户发私信
 :param user_id: 用户ID
 :param content: 私信内容
 """
 data = {"type": "common", "content": content, "receiver_hash": user_id}
 response = self._session.post(URL.message(), json=data)
 data = response.json()
 if data.get("error"):
 self.logger.info("私信发送失败, %s" % data.get("error").get("message"))
 else:
 self.logger.info("发送成功")
 return data

上面两个方法放在一个叫Zhihu的类里面,我只列出了关键代码,涉及到的 @need_login 是一个用户认证的装饰器,表示该方法需要登录后才能操作。细心的你可能发现,每个请求中我并没有显示地指定 Header 字段,那时因为我把它放在 __init__.py 方法中初始化了。

def __init__(self):
 self._session = requests.session()
 self._session.verify = False
 self._session.headers = {"Host": "www.zhihu.com",
    "Referer": "https://www.zhihu.com/",
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36'
      ' (KHTML, like Gecko) Chrome/56.0.2924.87',
    }
 self._session.cookies = cookiejar.LWPCookieJar(filename=cookie_filename)
 try:
 self._session.cookies.load(ignore_discard=True)
 except:
 pass

调用执行

from zhihu import Zhihu

if __name__ == '__main__':
 zhihu = Zhihu()
 profile = zhihu.user("xiaoxiaodouzi")
 _id = profile.get("id")
 zhihu.send_message(_id, "你好,这是来自Python之禅的问候")

执行完成后,小号成功收到我发送的私信。

python爬虫入门教程--利用requests构建知乎API(三)

最后,我们可以按照类似的思路把关注用户,点赞等功能实现了。

源码地址:https://github.com/lzjun567/zhihu-api 

在线下载:http://xiazai.3water.com/201705/yuanma/zhihu-api(3water.com).rar

总结

以上就是关于这篇文章的全部内容,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python中用于检查英文字母大写的isupper()方法
May 19 Python
Python开发微信公众平台的方法详解【基于weixin-knife】
Jul 08 Python
Python中单、双下划线的区别总结
Dec 01 Python
Python3基于sax解析xml操作示例
May 22 Python
解决Mac安装scrapy失败的问题
Jun 13 Python
Python返回数组/List长度的实例
Jun 23 Python
详解python 注释、变量、类型
Aug 10 Python
Python unittest工作原理和使用过程解析
Feb 24 Python
pandas的resample重采样的使用
Apr 24 Python
python和php哪个更适合写爬虫
Jun 22 Python
python 高阶函数简单介绍
Feb 19 Python
Pytorch中expand()的使用(扩展某个维度)
Jul 15 Python
Python正则表达式完全指南
May 25 #Python
Tensorflow简单验证码识别应用
May 25 #Python
Python 编码Basic Auth使用方法简单实例
May 25 #Python
Python 含参构造函数实例详解
May 25 #Python
Python爬虫之模拟知乎登录的方法教程
May 25 #Python
python爬虫入门教程--优雅的HTTP库requests(二)
May 25 #Python
Python操作使用MySQL数据库的实例代码
May 25 #Python
You might like
从零开始 教你如何搭建Discuz!4.1论坛
2006/07/07 PHP
php+mysql事务rollback&commit示例
2010/02/08 PHP
PHP大批量数据操作时临时调整内存与执行时间的方法
2011/04/20 PHP
php图片上传存储源码并且可以预览
2011/08/26 PHP
深入PHP内存相关的功能特性详解
2013/06/08 PHP
thinkphp在模型中自动完成session赋值示例代码
2014/09/09 PHP
php页面缓存方法小结
2015/01/10 PHP
php数组合并与拆分实例分析
2015/06/12 PHP
PHP版本常用的排序算法汇总
2015/12/20 PHP
替换php字符串中的单引号为双引号的方法
2017/02/16 PHP
PHP异常处理定义与使用方法分析
2017/07/25 PHP
Thinkphp5 微信公众号token验证不成功的原因及解决方法
2017/11/12 PHP
prototype Element学习笔记(Element篇三)
2008/10/26 Javascript
dwr spring的集成实现代码
2009/03/22 Javascript
Javascript学习笔记之 函数篇(二) : this 的工作机制
2014/06/24 Javascript
JS+CSS3模拟溢出滚动效果
2016/08/12 Javascript
jQuery simpleModal插件的使用介绍
2016/08/30 Javascript
详谈jQuery unbind 删除绑定事件 / 移除标签方法
2017/03/02 Javascript
node.js连接MongoDB数据库的2种方法教程
2017/05/17 Javascript
详解EasyUi控件中的Datagrid
2017/08/23 Javascript
javascript和php使用ajax通信传递JSON的实例
2018/08/21 Javascript
浅谈JavaScript面向对象--继承
2019/03/20 Javascript
巧妙运用v-model实现父子组件传值的方法示例
2019/04/07 Javascript
[59:48]LGD vs IG 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
python使用wmi模块获取windows下的系统信息 监控系统
2015/10/27 Python
python中virtualenvwrapper安装与使用
2018/05/20 Python
Python判断对象是否为文件对象(file object)的三种方法示例
2019/04/26 Python
在pycharm中实现删除bookmark
2020/02/14 Python
python获取天气接口给指定微信好友发天气预报
2020/12/28 Python
大学生村官个人总结
2015/02/15 职场文书
赡养老人协议书范本
2015/08/06 职场文书
励志正能量20句:送给所有为梦想拼搏的人
2019/11/11 职场文书
Java8中Stream的一些神操作
2021/11/02 Java/Android
如何更改Win11声音输出设备?Win11声音输出设备四种更改方法
2022/04/08 数码科技
Mysql 如何合理地统计一个数据库里的所有表的数据量
2022/04/18 MySQL
SpringBoot详解自定义Stater的应用
2022/07/15 Java/Android