python实现一次性封装多条sql语句(begin end)


Posted in Python onJune 06, 2020

python封装利用begin end执行多条sql

因为业务需求,优化模型运行时间。考虑到sql语句每一次执行都要建立连接,查询,获取数据耗时过多。就想到将sql一起提交上去运行,能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒,感觉性能提升挺好的。

当然还有一种想法,如果有python框架的orm可能会更快,相比来说耗时基本看不到了吧,这只是我的猜想,仅仅为了优化一个模型写一个框架的话 代码可能需要改的比较多,自我感觉付出和收获不一定会成正比,当然以后有时间可以试试。

这次优化基本代码逻辑没有动,利用了begin end进行sql整合。

公司用的是oracle,之前没用过但是感觉和mysql基本类似,如果是mysql的话该方法也可用

sql_str = ‘begin\n'
sql_str += ‘这里时需要执行的sql语句'
sql_str += ‘\ncommit;end;'

中间sql有多少条无所谓,看了一下运行时间感觉 我的一千行sql耗时 几乎就是这一千行里面耗时最长那个时间。是异步完成还是什么这个就不是很清楚了,主要是一次建立连接,省去网络传输数据和请求数据库的过程

网上好多begin end都是在可视化工具中的sql执行的,并不能在command中执行,这就意味中我们代码中封装的语句没有卵用,还好没放弃当时就研究了一下找到了解决办法

在end 提交一下就ok了,如果在command中运行一直未结束的话加一个 / 斜线就ok了

本次内容就此结束,下面是一些题外话。

在说一个其中遇到的问题吧,在进行sql封装后,其中很多表都很乱,约束很乱 而且逻辑并不严谨,但是模型正在运行还不让动 那只能按照这个规则来了

ORA 00001 违反唯一约束条件 其中出现了这个问题,意思就是唯一约束重复了,因为模型输入问题,处理出来的结果之前可能刚插入到数据库中(也就是 上面的sql_str 出现了两天相同的insert),这个东西很简单,加一个set判断一下就行,但是到这之后,一个bug就跳出来了,这个脚本计算的是因子重要度,结果预测可能每次都不相同,有些数据很小的可能就当成0扔进去了,所以我需要做的是将 相同数据的情况下插入较为重要的因子重要度(也无需要 ),这样的话简简单单的set就不行了,但是也不难 用来一下字典

importance_map = {}
 实现创建好字典
 if feature in importance_map:
        if importance_map[feature] < importance:
          sql_str +=‘***************‘'' 这里就是insert语句了
        else:
          continue
      else:
        importance_map[feature] = importance

其实这个东西也没有什么难点,但是做到这之后就有很多想法折射出来。

数据处理原本也可以用pandas进行,但是pandas是对所有数据进行操作,我一个set只对重复数据进行操作,切pandas内存消耗极为严重,前两天写的特征工程内存炸裂。表数据用完后内存并没有得到释放,这里面就涉及到python的垃圾回收,用法至今没有搞懂,还需要研究研究,gc是对循环引用进行垃圾回收,内存释放。但是这个pandas并不是循环引用,我认为是在存储在缓存区中,位置占死了,就很烦

模型毕竟是在服务器上面跑,尽量快切省内存,不然你把内存占了 别人的项目怎么玩。所以就用这种方法。

很少写博客,主要是记录一下问题以后 再出现了好应对。当然如果能够帮助正在修复bug中的你,也是乐意至极。那块说的有问题或者解释不清楚,可以留言。

补充知识:postgreSQL sql使用 %s时务必加引号,即为‘%s',否则报错

postgre sql使用 %s时务必加引号,即为‘%s',否则报错

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = %s"%(110001,t)

print(selectOperate(sql))

结果:

Traceback (most recent call last):
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 84, in
print(selectOperate(sql))
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 45, in selectOperate
cursor.execute(sql)
psycopg2.ProgrammingError: column “tdd” does not exist
LINE 1: …* from lastftp where enbid = 110001 and keytype = TDD-LTE_MR…
^

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = '%s'"%(110001,t)

print(selectOperate(sql))

结果:

[(‘test3', ‘TDD-LTE_MRO', ‘0114123000', ‘0012', 110001)]
[Finished in 0.1s]

以上这篇python实现一次性封装多条sql语句(begin end)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现bitmap数据结构详解
Feb 17 Python
Python中文件操作简明介绍
Apr 13 Python
Python编写一个闹钟功能
Jul 11 Python
python 随机数使用方法,推导以及字符串,双色球小程序实例
Sep 12 Python
Python cookbook(字符串与文本)在字符串的开头或结尾处进行文本匹配操作
Apr 20 Python
用Python中的turtle模块画图两只小羊方法
Apr 09 Python
python SQLAlchemy 中的Engine详解
Jul 04 Python
python ftplib模块使用代码实例
Dec 31 Python
通过实例了解Python str()和repr()的区别
Jan 17 Python
自定义Django Form中choicefield下拉菜单选取数据库内容实例
Mar 13 Python
Django Path转换器自定义及正则代码实例
May 29 Python
Python基础 括号()[]{}的详解
Nov 07 Python
python 在sql语句中使用%s,%d,%f说明
Jun 06 #Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 #Python
pyMySQL SQL语句传参问题,单个参数或多个参数说明
Jun 06 #Python
python 解决mysql where in 对列表(list,,array)问题
Jun 06 #Python
在python中使用pyspark读写Hive数据操作
Jun 06 #Python
使用Python构造hive insert语句说明
Jun 06 #Python
Python通过kerberos安全认证操作kafka方式
Jun 06 #Python
You might like
四月新番又没了,《Re:从零开始的异世界生活》第二季延期至7月播出
2020/05/06 日漫
解析如何修改phpmyadmin中的默认登陆超时时间
2013/06/25 PHP
PHP中上传多个文件的表单设计例子
2014/11/19 PHP
54个提高PHP程序运行效率的方法
2015/07/19 PHP
PHP实现的XML操作类【XML Library】
2016/12/29 PHP
laravel配置Redis多个库的实现方法
2019/04/10 PHP
PHP number_format函数原理及实例解析
2020/07/14 PHP
defer属性导致引用JQuery的页面报“浏览器无法打开网站xxx,操作被中止”错误的解决方法
2010/04/27 Javascript
JS和jquery获取各种屏幕的宽度和高度的代码
2013/08/02 Javascript
JS继承之借用构造函数继承和组合继承
2016/09/07 Javascript
微信小程序 开发经验整理
2017/02/15 Javascript
js获取元素的偏移量offset简单方法(必看)
2017/07/05 Javascript
Vue实现本地购物车功能
2018/12/05 Javascript
基于vue、react实现倒计时效果
2019/08/26 Javascript
[01:05:12]2014 DOTA2国际邀请赛中国区预选赛 TongFu VS CIS-GAME
2014/05/21 DOTA
Python实现读取txt文件并画三维图简单代码示例
2017/12/09 Python
python的socket编程入门
2018/01/29 Python
python3学习笔记之多进程分布式小例子
2018/02/13 Python
通过python顺序修改文件名字的方法
2018/07/11 Python
纯用NumPy实现神经网络的示例代码
2018/10/24 Python
python 实现对文件夹中的图像连续重命名方法
2018/10/25 Python
pandas实现将dataframe满足某一条件的值选出
2019/06/12 Python
Python中Unittest框架的具体使用
2019/08/27 Python
使用 Python 清理收藏夹里已失效的网站
2019/12/03 Python
Pytorch实现各种2d卷积示例
2019/12/30 Python
python nohup 实现远程运行不宕机操作
2020/04/16 Python
CSS3 简单又实用的5个属性
2010/03/04 HTML / CSS
英国自行车商店:AW Cycles
2021/02/24 全球购物
教你怎样写好自我评价
2013/10/05 职场文书
行政专员岗位职责
2014/01/02 职场文书
士力架广告词
2014/03/20 职场文书
党员创先争优公开承诺书
2014/03/28 职场文书
管理建议书范文
2014/05/13 职场文书
村党支部群众路线教育实践活动对照检查材料
2014/09/26 职场文书
Redis高并发防止秒杀超卖实战源码解决方案
2021/11/01 Redis
Pygame游戏开发之太空射击实战敌人精灵篇
2022/08/05 Python