Python使用SQLite和Excel操作进行数据分析


Posted in Python onJanuary 20, 2018

昨日,女票拿了一个Excel文档,里面有上万条数据要进行分析,刚开始一个字段分析,Excel用的不错,还能搞定,到后来两个字段的分析,还有区间比如年龄段的数据分析,实在是心疼的不行,于是就想给她程序处理之。

当然,我是一直C++和Qt的,当时就想直接Qt+sqlite3写入数据库,然后就各种数据查询就行了,可做起来却发现,她机器上没有Qt环境,没有C++编译器,得,如果配置环境也得几个小时了,可当时根本没有那么多时间来做,幸好,之前还看过一些Python的东西,并且Python环境好配啊,于是就想用Python实现一个写数据库,查询的功能。于是,行动之。

环境配置

1、下载Python:http://www.python.org/downloads/;
2、下载Excel读取库:http://pypi.python.org/pypi/xlrd;
3、Sqlite3数据库:这个是Python自带的,倒是不用下载了。

编写代码

代码写的很简单,一个类,在构造函数的时候初始化数据库对象,析构的时候释放数据库对象。一个插入数据函数,一个读取Excel函数,话不多说,上代码:

import sqlite3
import xlrd

class FileDispose(object):
  """docstring for FileDispose"""
  def __init__(self, file):
    super(FileDispose, self).__init__()
    '''初始化数据库实例'''
    self.conn = sqlite3.connect(file)
    self.cursor = self.conn.cursor()

  def __del__(self):
    '''释放数据库实例'''
    self.cursor.close()
    self.conn.close()

  '''数据库插入操作'''
  def insert(self,id,name,sex,age,score,addr):
    sql = 'insert into student(id,name,sex,age,score,addr) values (%d,\"%s\",\"%s\",\"%s\",\"%s\",\"%s\")' % (int(id),name,sex,age,score,addr)
    print(sql)
    self.cursor.execute(sql)
    self.conn.commit()

  '''读取Excel文件'''
  def readFile(self, file):
    data = xlrd.open_workbook(file)
    table = data.sheets()[2]
    for rowId in range(1, 100):
      row = table.row_values(rowId)
      if row:
        self.insert(rowId,row[0],row[1],row[2],row[3],row[4])


fd = FileDispose("F:/test.db")
fd.readFile('F:/excel.xlsx')

数据库表是我直接拿SQLiteSpy创建的,字段有id,name,sex,age,score,addr这几个。

总结

以上就是本文关于Python使用SQLite和Excel操作进行数据分析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python脚本实现查找webshell的方法
Jul 31 Python
Python实现遍历数据库并获取key的值
May 17 Python
Python中的FTP通信模块ftplib的用法整理
Jul 08 Python
Django实战之用户认证(初始配置)
Jul 16 Python
python实现周期方波信号频谱图
Jul 21 Python
基于Python的微信机器人开发 微信登录和获取好友列表实现解析
Aug 21 Python
DJANGO-URL反向解析REVERSE实例讲解
Oct 25 Python
python获取栅格点和面值的实现
Mar 10 Python
python 实现图片裁剪小工具
Feb 02 Python
Python开发之QT解决无边框界面拖动卡屏问题(附带源码)
May 27 Python
只用20行Python代码实现屏幕录制功能
Jun 02 Python
python中 Flask Web 表单的使用方法
May 20 Python
python与sqlite3实现解密chrome cookie实例代码
Jan 20 #Python
Python实现PS滤镜中马赛克效果示例
Jan 20 #Python
浅析python协程相关概念
Jan 20 #Python
Python实现可自定义大小的截屏功能
Jan 20 #Python
python+matplotlib绘制饼图散点图实例代码
Jan 20 #Python
Python+matplotlib绘制不同大小和颜色散点图实例
Jan 19 #Python
Python搭建FTP服务器的方法示例
Jan 19 #Python
You might like
默默简单的写了一个模板引擎
2007/01/02 PHP
PHP第一季视频教程(李炎恢+php100 不断更新)
2011/05/29 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(七)
2014/06/23 PHP
Laravel Intervention/image图片处理扩展包的安装、使用与可能遇到的坑详解
2017/11/14 PHP
JXTree对象,读取外部xml文件数据,生成树的函数
2007/04/02 Javascript
纯JS实现的批量图片预览加载功能
2011/08/14 Javascript
javascript获取和判断浏览器窗口、屏幕、网页的高度、宽度等
2014/05/08 Javascript
javascript里绝对用的上的字符分割函数总结
2014/07/31 Javascript
javascript基于DOM实现省市级联下拉框的方法
2015/05/14 Javascript
JS实现的验证身份证及获取地区功能示例
2017/01/16 Javascript
JavaScript正则表达式简单实用实例
2017/06/23 Javascript
mockjs,json-server一起搭建前端通用的数据模拟框架教程
2017/12/18 Javascript
jquery的 filter()方法使用教程
2018/03/22 jQuery
详解vue中$nextTick和$forceUpdate的用法
2019/12/11 Javascript
Jquery Datatables的使用详解
2020/01/30 jQuery
记一次用ts+vuecli4重构项目的实现
2020/05/21 Javascript
[04:31]2016国际邀请赛中国区预选赛妖精采访
2016/06/27 DOTA
python中使用mysql数据库详细介绍
2015/03/27 Python
flask中使用蓝图将路由分开写在不同文件实例解析
2018/01/19 Python
windows下python和pip安装教程
2018/05/25 Python
Python连接Redis的基本配置方法
2018/09/13 Python
手把手教你如何安装Pycharm(详细图文教程)
2018/11/28 Python
Jupyter notebook在mac:linux上的配置和远程访问的方法
2019/01/14 Python
python3:excel操作之读取数据并返回字典 + 写入的案例
2020/09/01 Python
pycharm配置QtDesigner的超详细方法
2021/01/25 Python
浅谈matplotlib默认字体设置探索
2021/02/03 Python
美国时尚女装在线:Missguided
2016/12/03 全球购物
2019年分享net面试的经历和题目
2016/08/07 面试题
写给女朋友的检讨书
2014/01/28 职场文书
教师节促销方案
2014/03/22 职场文书
大学生志愿者活动总结
2014/06/27 职场文书
2015年乡镇工作总结范文
2015/04/22 职场文书
2015年学校远程教育工作总结
2015/07/20 职场文书
Spark SQL 2.4.8 操作 Dataframe的两种方式
2021/10/16 SQL Server
Mysql关于数据库是否应该使用外键约束详解说明
2021/10/24 MySQL
Python 多线程处理任务实例
2021/11/07 Python