Python实现读取TXT文件数据并存进内置数据库SQLite3的方法


Posted in Python onAugust 08, 2017

本文实例讲述了Python实现读取TXT文件数据并存进内置数据库SQLite3的方法。分享给大家供大家参考,具体如下:

当TXT文件太大,计算机内存不够时,我们可以选择按行读取TXT文件,并将其存储进Python内置轻量级splite数据库,这样可以加快数据的读取速度,当我们需要重复读取数据时,这样的速度加快所带来的时间节省是非常可观的,比如,当我们在训练数据时,要迭代10万次,即要从文件中读取10万次,即使每次只加快0.1秒,那么也能节省几个小时的时间了。

#创建数据库并把txt文件的数据存进数据库
import sqlite3      #导入sqlite3
cx = sqlite3.connect('./train.db')  #创建数据库,如果数据库已经存在,则链接数据库;如果数据库不存在,则先创建数据库,再链接该数据库。
cu = cx.cursor()           #定义一个游标,以便获得查询对象。
cu.execute('create table if not exists train4 (id integer primary key,name text)')  #创建表
fr = open('data_sample.txt')    #打开要读取的txt文件
i = 0
for line in fr.readlines():    #将数据按行插入数据库的表train4中。
  cu.execute('insert into train4 values(?,?)',(i,line))
  i +=1
cu.close()   #关闭游标
cx.commit()   #事务提交
cx.close()   #关闭数据库

查询数据:

cu.execute('select * from train4 where id = ?',(i,)) #i代表你要读取表train4中某一行的数据
result = cu.fetchall()

注:如果前面已经关闭了数据库,那么在查询时要重新打开数据库,并创建游标。这一点要注意一下。

完整的查询程序是这样的:

import sqlite3
cx = sqlite3.connect('./train.db')
cu = cx.cursor()
for i in range(5):
  cu.execute('select * from train4 where id = ?',(i,))
  result = cu.fetchall()
  cx.commit()
cu.close()
cx.close()

另:这里再为大家附带一个SQLite3数据操作类供大家参考使用:

import sqlite3
# ***************************************************
# *
# * Description: Python操作SQLite3数据库辅助类(查询构造器)
# * Author: wangye
# *
# ***************************************************
def _wrap_value(value):
  return repr(value)
def _wrap_values(values):
  return list(map(_wrap_value, values))
def _wrap_fields(fields):
  for key,value in fields.items():
    fields[key] = _wrap_value(value)
  return fields
def _concat_keys(keys):
  return "[" + "],[".join(keys) + "]"
def _concat_values(values):
  return ",".join(values)
def _concat_fields(fields, operator = (None, ",")):
  if operator:
    unit_operator, group_operator = operator
  # fields = _wrap_fields(fields)
  compiled = []
  for key,value in fields.items():
    compiled.append("[" + key + "]")
    if unit_operator:
      compiled.append(unit_operator)
      compiled.append(value)
    compiled.append(group_operator)
  compiled.pop() # pop last group_operator
  return " ".join(compiled)
class DataCondition(object):
  """
    本类用于操作SQL构造器辅助类的条件语句部分
    例如:
    DataCondition(("=", "AND"), id = 26)
    DataCondition(("=", "AND"), True, id = 26)
  """
  def __init__(self, operator = ("=", "AND"), ingroup = True, **kwargs):
    """
      构造方法
      参数:
        operator 操作符,分为(表达式操作符, 条件运算符)
        ingroup 是否分组,如果分组,将以括号包含
        kwargs  键值元组,包含数据库表的列名以及值
             注意这里的等于号不等于实际生成SQL语句符号
             实际符号是由operator[0]控制的
      例如:
      DataCondition(("=", "AND"), id = 26)
      (id=26)
      DataCondition((">", "OR"), id = 26, age = 35)
      (id>26 OR age>35)
      DataCondition(("LIKE", "OR"), False, name = "John", company = "Google")
      name LIKE 'John' OR company LIKE "Google"
    """
    self.ingroup = ingroup
    self.fields = kwargs
    self.operator = operator
  def __unicode__(self):
    self.fields = _wrap_fields(self.fields)
    result = _concat_fields(self.fields, self.operator)
    if self.ingroup:
      return "(" + result + ")"
    return result
  def __str__(self):
    return self.__unicode__()
  def toString(self):
    return self.__unicode__()
class DataHelper(object):
  """
    SQLite3 数据查询辅助类
  """
  def __init__(self, filename):
    """
      构造方法
      参数: filename 为SQLite3 数据库文件名
    """
    self.file_name = filename
  def open(self):
    """
      打开数据库并设置游标
    """
    self.connection = sqlite3.connect(self.file_name)
    self.cursor = self.connection.cursor()
    return self
  def close(self):
    """
      关闭数据库,注意若不显式调用此方法,
      在类被回收时也会尝试调用
    """
    if hasattr(self, "connection") and self.connection:
      self.connection.close()
  def __del__(self):
    """
      析构方法,做一些清理工作
    """
    self.close()
  def commit(self):
    """
      提交事务
      SELECT语句不需要此操作,默认的execute方法的
      commit_at_once设为True会隐式调用此方法,
      否则就需要显示调用本方法。
    """
    self.connection.commit()
  def execute(self, sql = None, commit_at_once = True):
    """
      执行SQL语句
      参数:
        sql 要执行的SQL语句,若为None,则调用构造器生成的SQL语句。
        commit_at_once 是否立即提交事务,如果不立即提交,
        对于非查询操作,则需要调用commit显式提交。
    """
    if not sql:
      sql = self.sql
    self.cursor.execute(sql)
    if commit_at_once:
      self.commit()
  def fetchone(self, sql = None):
    """
      取一条记录
    """
    self.execute(sql, False)
    return self.cursor.fetchone()
  def fetchall(self, sql = None):
    """
      取所有记录
    """
    self.execute(sql, False)
    return self.cursor.fetchall()
  def __concat_keys(self, keys):
    return _concat_keys(keys)
  def __concat_values(self, values):
    return _concat_values(values)
  def table(self, *args):
    """
      设置查询的表,多个表名用逗号分隔
    """
    self.tables = args
    self.tables_snippet = self.__concat_keys(self.tables)
    return self
  def __wrap_value(self, value):
    return _wrap_value(value)
  def __wrap_values(self, values):
    return _wrap_values(values)
  def __wrap_fields(self, fields):
    return _wrap_fields(fields)
  def __where(self):
    # self.condition_snippet
    if hasattr(self, "condition_snippet"):
      self.where_snippet = " WHERE " + self.condition_snippet
  def __select(self):
    template = "SELECT %(keys)s FROM %(tables)s"
    body_snippet_fields = {
      "tables" : self.tables_snippet,
      "keys" : self.__concat_keys(self.body_keys), 
    }
    self.sql = template % body_snippet_fields
  def __insert(self):
    template = "INSERT INTO %(tables)s (%(keys)s) VALUES (%(values)s)"
    body_snippet_fields = {
      "tables" : self.tables_snippet,
      "keys" : self.__concat_keys(list(self.body_fields.keys())),
      "values" : self.__concat_values(list(self.body_fields.values()))
    }
    self.sql = template % body_snippet_fields
  def __update(self):
    template = "UPDATE %(tables)s SET %(fields)s"
    body_snippet_fields = {
      "tables" : self.tables_snippet,
      "fields" : _concat_fields(self.body_fields, ("=",","))
    }
    self.sql = template % body_snippet_fields
  def __delete(self):
    template = "DELETE FROM %(tables)s"
    body_snippet_fields = {
      "tables" : self.tables_snippet
    }
    self.sql = template % body_snippet_fields
  def __build(self):
    {
      "SELECT": self.__select,
      "INSERT": self.__insert,
      "UPDATE": self.__update,
      "DELETE": self.__delete
    }[self.current_token]()
  def __unicode__(self):
    return self.sql
  def __str__(self):
    return self.__unicode__()
  def select(self, *args):
    self.current_token = "SELECT"
    self.body_keys = args
    self.__build()
    return self
  def insert(self, **kwargs):
    self.current_token = "INSERT"
    self.body_fields = self.__wrap_fields(kwargs)
    self.__build()
    return self
  def update(self, **kwargs):
    self.current_token = "UPDATE"
    self.body_fields = self.__wrap_fields(kwargs)
    self.__build()
    return self
  def delete(self, *conditions):
    self.current_token = "DELETE"
    self.__build()
    #if *conditions:
    self.where(*conditions)
    return self
  def where(self, *conditions):
    conditions = list(map(str, conditions))
    self.condition_snippet = " AND ".join(conditions)
    self.__where()
    if hasattr(self, "where_snippet"):
      self.sql += self.where_snippet
    return self

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python中查找excel某一列的重复数据 剔除之后打印
Feb 10 Python
搞笑的程序猿:看看你是哪种Python程序员
Jun 12 Python
python实现朴素贝叶斯分类器
Mar 28 Python
Go/Python/Erlang编程语言对比分析及示例代码
Apr 23 Python
python和opencv实现抠图
Jul 18 Python
Python根据当前日期取去年同星期日期
Apr 14 Python
Django用数据库表反向生成models类知识点详解
Mar 25 Python
python中def是做什么的
Jun 10 Python
pip install命令安装扩展库整理
Mar 02 Python
一文搞懂python异常处理、模块与包
Jun 26 Python
Python基本数据类型之字符串str
Jul 21 Python
Python实现滑雪小游戏
Sep 25 Python
Python3 适合初学者学习的银行账户登录系统实例
Aug 08 #Python
Python初学时购物车程序练习实例(推荐)
Aug 08 #Python
Python爬虫之xlml解析库(全面了解)
Aug 08 #Python
Python 3中print函数的使用方法总结
Aug 08 #Python
Python读取sqlite数据库文件的方法分析
Aug 07 #Python
Python实现读写sqlite3数据库并将统计数据写入Excel的方法示例
Aug 07 #Python
django实现前后台交互实例
Aug 07 #Python
You might like
php查找字符串出现次数的方法
2014/12/01 PHP
smarty自定义函数用法示例
2016/05/20 PHP
我也种棵OO树JXTree[js+css+xml]
2007/04/02 Javascript
使用js判断控件是否获得焦点
2014/01/03 Javascript
showModalDialog模态对话框的使用详解以及浏览器兼容
2014/01/11 Javascript
纯JS实现动态时间显示代码
2014/02/08 Javascript
简单实现异步编程promise模式
2015/07/31 Javascript
Centos7 中安装 Node.js v4.4.4
2016/11/03 Javascript
浅谈vue方法内的方法使用this的问题
2018/09/15 Javascript
Vue 组件封装 并使用 NPM 发布的教程
2018/09/30 Javascript
Vue press 支持图片放大功能的实例代码
2018/11/09 Javascript
jQuery实现动态加载(按需加载)javascript文件的方法分析
2019/05/31 jQuery
node.js实现带进度条的多文件上传
2020/03/27 Javascript
js实现橱窗展示效果
2020/01/11 Javascript
JavaScript设计模式之观察者模式与发布订阅模式详解
2020/05/07 Javascript
JSONP 的原理、理解 与 实例分析
2020/05/16 Javascript
工作中常用js功能汇总
2020/11/07 Javascript
在 Django/Flask 开发服务器上使用 HTTPS
2014/07/03 Python
python基础教程之对象和类的实际运用
2014/08/29 Python
深入浅出分析Python装饰器用法
2017/07/28 Python
django解决跨域请求的问题详解
2019/01/20 Python
总结python中pass的作用
2019/02/27 Python
Python函数中的可变长参数详解
2019/09/12 Python
Python树莓派学习笔记之UDP传输视频帧操作详解
2019/11/15 Python
Python TCPServer 多线程多客户端通信的实现
2019/12/31 Python
pycharm安装及如何导入numpy
2020/04/03 Python
Lee牛仔裤澳大利亚官网:美国著名牛仔裤品牌
2017/09/02 全球购物
Java 中访问数据库的步骤?Statement 和PreparedStatement 之间的区别?
2012/06/05 面试题
甜点店创业计划书
2014/01/27 职场文书
软件毕业生个人鉴定
2014/03/03 职场文书
乡镇精神文明建设汇报材料
2014/08/15 职场文书
2014年全国爱牙日宣传活动方案
2014/09/21 职场文书
2014大学班主任工作总结
2014/11/08 职场文书
《圆的面积》教学反思
2016/02/19 职场文书
Apache Calcite 实现方言转换的代码
2021/04/24 Servers
MySQL 外连接语法之 OUTER JOIN
2022/04/09 MySQL