将pymysql获取到的数据类型是tuple转化为pandas方式


Posted in Python onMay 15, 2020

我就废话不多说了,大家还是直接看代码吧!

#执行结果转化为dataframe
df = pd.DataFrame(list(result))

补充知识:python pymysql注意事项

cursor.execute 与 cursor.executemany有许多不同的地方

1. execute 中字段的值是字符串形式时必须加引号,但是executemany只需要使用占位符%s,pymysql利用给的参数list自动会加上引号

2.execute返回结果都是数字,但是executemany返回结果为none和数字

3.executemany之后执行fetchall,只能返回最后一条语句执行的结果(例如执行select时)

4.insert时,如果量比较大,最好拼接value然后用execute执行,如果用executemany(sql, datalist)执行的话速度太慢。

execute十万条 12秒

2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 172 sql execute
2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 173 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) (...
2016-07-15 16:24:54,394 DEBUG my_mysql.py listsave 175 sql executemany num: 128801

executemany十万条 26秒

2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 162 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) VALUES (%s,%s,%s,%s,%s,%s) ON duplicate KEY UPDATE `need_update`=0
2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 163 [[37, 1, 2, 10, 'dzyj', 1], [37, 1, 2, 11, 'dzyj', 1], [37, 1, 2, 12, 'dzyj', 1], [37, 1, 2, 13, 'dzyj', 1], [37, 1, 2, 14, 'dzyj', 1], [37, 1, 2, 15, 'dzyj', 1], [37, 1, 2, 16, 'dzyj', 1], [37, 1, 2, 17, 'dzyj', 1], [37, 1, 2, 18, 'dzyj', 1], [37, 1, 2, 19, 'dzyj', 1]]...
2016-07-15 16:28:23,786 DEBUG my_mysql.py listsave 165 sql executemany num: 128801

ps:如果在sql存入或更新数据时不加引号,则默认为数字,再根据数据库中字段的类型进行转换。

如果存入000333到varchar字段中,则会得到333值。

以上这篇将pymysql获取到的数据类型是tuple转化为pandas方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python私有属性和方法实例分析
Jan 15 Python
Python实现遍历windows所有窗口并输出窗口标题的方法
Mar 13 Python
python 递归遍历文件夹,并打印满足条件的文件路径实例
Aug 30 Python
Python实现找出数组中第2大数字的方法示例
Mar 26 Python
Python实现SQL注入检测插件实例代码
Feb 02 Python
python按照多个条件排序的方法
Feb 08 Python
简单了解python单例模式的几种写法
Jul 01 Python
python批量解压zip文件的方法
Aug 20 Python
python GUI库图形界面开发之PyQt5布局控件QGridLayout详细使用方法与实例
Mar 06 Python
matplotlib基础绘图命令之errorbar的使用
Aug 13 Python
pytorch中[..., 0]的用法说明
May 20 Python
解决numpy和torch数据类型转化的问题
May 23 Python
python 数据库查询返回list或tuple实例
May 15 #Python
Python基于gevent实现高并发代码实例
May 15 #Python
Django bulk_create()、update()与数据库事务的效率对比分析
May 15 #Python
Python实现aes加密解密多种方法解析
May 15 #Python
django 数据库 get_or_create函数返回值是tuple的问题
May 15 #Python
重写django的model下的objects模型管理器方式
May 15 #Python
Python基于pip实现离线打包过程详解
May 15 #Python
You might like
[EPIC] Larva vs Flash ZvT @ Crossing Field [2017-10-09]
2020/03/17 星际争霸
php visitFile()遍历指定文件夹函数
2010/08/21 PHP
浅谈web上存漏洞及原理分析、防范方法(文件名检测漏洞)
2013/06/29 PHP
php函数与传递参数实例分析
2014/11/15 PHP
PHP中使用Imagick实现各种图片效果实例
2015/01/21 PHP
php生成带logo二维码方法小结
2016/04/08 PHP
Yii+upload实现AJAX上传图片的方法
2016/07/13 PHP
Alliance vs AM BO3 第一场2.13
2021/03/10 DOTA
Ajax,UTF-8还是GB2312 eval 还是execScript
2008/11/13 Javascript
IE及IE6浏览器中判断JS文件加载成功失败的方法
2015/02/18 Javascript
jquery插件NProgress.js制作网页加载进度条
2015/06/05 Javascript
基于JS实现的倒计时程序实例
2015/07/24 Javascript
探讨JavaScript语句的执行过程
2016/01/28 Javascript
javascript正则表达式之分组概念与用法实例
2016/06/16 Javascript
JS实现六边形3D拖拽翻转效果的方法
2016/09/11 Javascript
jQuery EasyUI 为Combo,Combobox添加清除值功能的实例
2017/04/13 jQuery
webpack4打包vue前端多页面项目
2018/09/17 Javascript
vue cli 3.0 搭建项目的图文教程
2019/05/17 Javascript
JavaScript在web自动化测试中的作用示例详解
2019/08/25 Javascript
vue进入页面时不在顶部,检测滚动返回顶部按钮问题及解决方法
2019/10/30 Javascript
vue实现日历表格(element-ui)
2020/09/24 Javascript
[00:19]CN DOTA NEVER DIE!VG夺冠rOtK接受采访
2019/12/23 DOTA
python二叉树遍历的实现方法
2013/11/21 Python
python使用WMI检测windows系统信息、硬盘信息、网卡信息的方法
2015/05/15 Python
python kmeans聚类简单介绍和实现代码
2018/02/23 Python
基于python实现检索标记敏感词并输出
2020/05/07 Python
Boutique 1美国:阿联酋奢侈时尚零售商
2017/10/16 全球购物
毕业生自荐书
2013/12/18 职场文书
公司年会搞笑主持词
2014/03/24 职场文书
节电标语大全
2014/06/23 职场文书
党员群众路线对照检查材料思想汇报
2014/09/17 职场文书
教育见习报告范文
2014/11/03 职场文书
公司周年庆寄语
2019/06/21 职场文书
创业计划书之校园超市
2019/09/12 职场文书
Pytorch数据读取之Dataset和DataLoader知识总结
2021/05/23 Python
Nginx源码编译安装过程记录
2021/11/17 Servers