python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)


Posted in Python onApril 18, 2019

简介

有些 post 的请求参数是 json 格式的,这个前面发送post 请求里面提到过,需要导入 json模块处理。现在企业公司一般常见的接口因为json数据容易处理,所以绝大多数返回数据也是 json 格式的,我们在做判断时候,往往只需要提取其中

几个关键的参数就行,这时候我们就需要 json 来解析返回的数据了。首先来说一下笔者为何要单独写这么一篇,原因是:python 里面 bool 值是 True 和 False,json 里面 bool 值是 true和 false,并且区分大小写,这就尴尬了,明明都是 bool 值。

在python里面写的代码,传到json里,不用说肯定识别不了,所以需要把python的代码经过encode后成为 json 可识别的数据类型,反之json数据就需要decode后成为python代码可识别的数据类型。这个也是需要初学者注意,也算是个细微差和

一个坑人的地方吧,如果不注意很容易掉坑里啊。笔者就掉进去过,还好自救能力强,爬出来了,所以为了警醒后来者,就有了这篇随笔。

json 模块简介

1、Json 简介:Json,全名 JavaScript Object Notation,JSON(JavaScript Object Notation(记号、标记))是一种轻量级的数据交换格式。它基于JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一个子集。JSON采用完全独立

于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C, C++, C#, Java, JavaScript, Perl, Python等)。这些特性使JSON成为理想的数据交换语言。JSON易于人阅读和编写,同时也易于机器解析和生成。常用于 http 请求中,接口

返回的数据中。

2、可以用 help(json),查看对应的源码注释内容

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

编码Encode(python->json)

1、为什么要 encode,笔者在开头就给各位小伙伴开门见山的说出来了,让各位带着问题来探索、来学习、来思考

2、举个简单例子,下图的实例中 dict 类型经过 json.dumps()后变成 str,True 变成了 true,False变成了 fasle

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

3、从json模块的对应源码中可以查看到,python 数据转化成 json可识别的数据,对应的表关系如下

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

解码 decode(json->python)

1、以博客园的登录成功结果:{"success":True}为例,我们其实最想知道的是 success 这个字段返回的是 True 还是 False,以便于我们对接口进行断言,以下是fiddler抓包博客园登录成功的结果

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

2、如果以 content 字节输出,返回的是一个字符串:{"success":true},这样获取后面那个结果就不方便了,导致断言也不方便

3、如果经过 json 解码后,返回的就是一个字典:{u'success': True},这样获取后面那个结果,就用字典的方式去取值:result2["success"],这样不言而喻断言也就简单方便了

4、由于博客园的登录机制的改变,我们这里接着上一篇的删除随笔的返回结果,给小伙伴们实战演练一下

5、用fiddler抓包,抓到删除新建随笔的请求,从抓包结果可以看出,返回结果是一个字符串:{"isSuccess":True},按照上边的步骤用代码实现

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

6、代码及结果(看到了吧,就是这么轻松被我们取到其value了,接下来就可以进行断言了)

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

7、从json模块的对应源码中可以查看到, json 数据转化成 python 可识别的数据,对应的表关系如下

python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)

8、参考代码

# coding:utf-8
import requests
# 先打开登录首页,获取部分cookie
url = "https://passport.cnblogs.com/user/signin"
headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0"
      } # get方法其它加个ser-Agent就可以了
s = requests.session()
r = s.get(url, headers=headers,verify=False)
print (s.cookies)
# 添加登录需要的两个cookie
c = requests.cookies.RequestsCookieJar()
c.set('.CNBlogsCookie', 'XXX') # 填上面抓包内容
c.set('.Cnblogs.AspNetCore.Cookies','XXX') # 填上面抓包内容
c.set('AlwaysCreateItemsAsActive',"True")
c.set('AdminCookieAlwaysExpandAdvanced',"True")
s.cookies.update(c)
print (s.cookies)
result = r.content
print(result.decode('utf-8'))
# 登录成功后保存编辑内容
url2= "https://i.cnblogs.com/EditPosts.aspx?opt=1"
body = {"__VIEWSTATE": "",
    "__VIEWSTATEGENERATOR":"FE27D343",
    "Editor$Edit$txbTitle":"这是绕过登录的标题:北京-宏哥",
    "Editor$Edit$EditorBody":"<p>这里是中文内容:http://www.cnblogs.com/duhong/</p>",
    "Editor$Edit$Advanced$ckbPublished":"on",
    "Editor$Edit$Advanced$chkDisplayHomePage":"on",
    "Editor$Edit$Advanced$chkComments":"on",
    "Editor$Edit$Advanced$chkMainSyndication":"on",
    "Editor$Edit$lkbDraft":"存为草稿",
     }
r2 = s.post(url2, data=body, verify=False)
print (r.content.decode('utf-8'))

# 第三步:正则提取需要的参数值
import re
postid = re.findall(r"postid=(.+?)&", r2.url)
print(type(postid))
print (postid) # 这里是 list
# 提取为字符串
print (postid[0])
# 第四步:删除草稿箱
url3 = "https://i.cnblogs.com/post/delete"
json3 = {"postId": postid[0]}
r3 = s.post(url3, json=json3, verify=False)
result = r3.content #content数据是字节输出
print(type(result))
print(result)
#json是经过加码encode成对应python的数据类型
result1 = r3.json()
print (type(result1))
print(result1['isSuccess'])

小结

在实际工作中遇到问题要学会查资料,看其对应的官方文档以及源码,不仅可以起到事半功倍的作用,也可以锻炼自己解决问题的能力。这一点笔者深有体会!!!

以上所述是小编给大家介绍的python Json 数据处理详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python中pygame安装方法图文详解
Nov 11 Python
Python编程中实现迭代器的一些技巧小结
Jun 21 Python
Python实现将SQLite中的数据直接输出为CVS的方法示例
Jul 13 Python
python利用lxml读写xml格式的文件
Aug 10 Python
mac 安装python网络请求包requests方法
Jun 13 Python
Python文件路径名的操作方法
Oct 30 Python
django中间键重定向实例方法
Nov 10 Python
用python的turtle模块实现给女票画个小心心
Nov 23 Python
pytorch:torch.mm()和torch.matmul()的使用
Dec 27 Python
Python range与enumerate函数区别解析
Feb 28 Python
Python使用Selenium模拟浏览器自动操作功能
Sep 08 Python
教你怎么用Python处理excel实现自动化办公
Apr 30 Python
详解python数据结构和算法
Apr 18 #Python
python基础知识(一)变量与简单数据类型详解
Apr 17 #Python
关于python多重赋值的小问题
Apr 17 #Python
详解python3安装pillow后报错没有pillow模块以及没有PIL模块问题解决
Apr 17 #Python
一步步教你用python的scrapy编写一个爬虫
Apr 17 #Python
Python中如何导入类示例详解
Apr 17 #Python
Linux上使用Python统计每天的键盘输入次数
Apr 17 #Python
You might like
PHP 图片上传代码
2011/09/13 PHP
shopex主机报错误请求解决方案(No such file or directory)
2011/12/27 PHP
解析PHP中如何将数组变量写入文件
2013/06/06 PHP
php使用Cookie实现和用户会话的方法
2015/01/21 PHP
laravel excel 上传文件保存到本地服务器功能
2019/11/14 PHP
JS验证 只能输入小数点,数字,负数的实现方法
2016/10/07 Javascript
把json格式的字符串转换成javascript对象或数组的方法总结
2016/11/03 Javascript
Angular.js中定时器循环的3种方法总结
2017/04/27 Javascript
angular 用拦截器统一处理http请求和响应的方法
2017/06/08 Javascript
Bootstrap Table使用整理(一)
2017/06/09 Javascript
vue时间格式化实例代码
2017/06/13 Javascript
微信小程序实现多选框全选与反全选及购物车中删除选中的商品功能
2019/12/17 Javascript
Python实现的RSS阅读器实例
2015/07/25 Python
python中pandas.DataFrame排除特定行方法示例
2017/03/12 Python
python爬虫之BeautifulSoup 使用select方法详解
2017/10/23 Python
Python算法之求n个节点不同二叉树个数
2017/10/27 Python
详解appium+python 启动一个app步骤
2017/12/20 Python
python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比
2019/04/15 Python
Django web框架使用url path name详解
2019/04/29 Python
Python大数据之使用lxml库解析html网页文件示例
2019/11/16 Python
python中JWT用户认证的实现
2020/05/18 Python
python调用jenkinsAPI构建jenkins,并传递参数的示例
2020/12/09 Python
Python抖音快手代码舞(字符舞)的实现方法
2021/02/07 Python
Python 调用C++封装的进一步探索交流
2021/03/04 Python
网站性能延迟加载图像的五种技巧(小结)
2020/08/13 HTML / CSS
美国知名的网上鞋类及相关服装零售商:Shoes.com
2017/05/06 全球购物
10条PHP编程习惯
2014/05/26 面试题
请用用Java代码写一个堆栈
2012/01/26 面试题
星空联盟C# .net笔试题
2014/12/05 面试题
高中自我评价分享
2013/12/05 职场文书
大学校园毕业自我鉴定
2014/01/15 职场文书
2015年高校教师个人工作总结
2015/05/25 职场文书
预备党员考察意见范文
2015/06/01 职场文书
iPhone13 Pro外观确定,升级4800万镜头,4月20日发新品
2021/04/15 数码科技
Vue CLI中模式与环境变量的深入详解
2021/05/30 Vue.js
分享7个 Python 实战项目练习
2022/03/03 Python