使用pandas读取表格数据并进行单行数据拼接的详细教程


Posted in Python onMarch 03, 2021

业务需求

一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:

id code price num
11 22 33 44
22 33 44 55
33 44 55 66
44 55 66 77
55 66 77 88
66 77 88 99

 现在需要将code的这一列用逗号,拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77',这样的情况,我们需要怎么处理呢?当然方式有很多……

多行文本批量处理

有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。

  • 选中需要操作的多行,按下Ctr+Shift+L即可同时编辑这些行
  • 鼠标选中文本,反复按CTRL+D即可继续向下同时选中下一个相同的文本进行同时编辑
  • 鼠标选中文本,按下Alt+F3即可一次性选择全部的相同文本进行同时编辑

如何节省效率

在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。

pandas读取表格数据并处理

这我们使用Python的pandas模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。

sheet = pandas.read_excel(io=file_name, usecols=[line_num])
data = sheet.values.tolist()
str_data = ''
# 循环处理数据
print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
for x in range(len(data)):
  if str(data[x][0]) != 'nan':
    str_data += "'" + str(data[x][0]) + "',"

完整源码

因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller模块来将脚本进行打包成exe的window可执行文件,使其在无Python的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py,我已有打包的上传到交友网站Github上,大家有兴趣的话,可以点击查看哦,交个朋友地址:github.com/gxcuizy

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
拼接Excel表格单行数据,并写入文本
author: gxcuizy
time: 2021-03-01
"""

import pandas
import random
import os
import time


def print_msg(msg=''):
  """打印信息"""
  now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
  print('[' + now_time + '] ' + msg)


# 程序主入口
if __name__ == "__main__":
  # 获取传入参数
  file_name = input('请输入当前目录下的表格文件名(例如“01.xlsx”):')
  line_num = input('请输入要拼装的数据第几列(例如“1”):')
  # 判断文件是否存在
  if os.path.exists(file_name) == False:
    print_msg('文件不存在')
    os.system("pause")
    exit(0)
  # 判断输入的行数是否为数字
  if line_num.isdigit() == False:
    print_msg('请输入列数的数字')
    os.system("pause")
    exit(0)
  try:
    # 获取表格数据
    print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据')
    line_num = int(line_num) - 1
    sheet = pandas.read_excel(io=file_name, usecols=[line_num])
    data = sheet.values.tolist()
    str_data = ''
    # 循环处理数据
    print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
    for x in range(len(data)):
      if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"
    # 写入文本文件
    print_msg('数据处理完毕,开始写入……')
    random_num = random.randint(1000, 9999)
    with open('str_' + str(random_num) + '.txt', 'w') as f:
      f.write(str_data.strip(','))
    print_msg('数据写入完毕.')
  except Exception as err_info:
    # 异常信息
    print_msg(str(err_info))
  # 防止exe程序执行结束闪退
  os.system("pause")

到此这篇关于使用pandas读取表格数据并进行单行数据拼接的详细教程的文章就介绍到这了,更多相关pandas读取表格并拼接内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中logging模块的用法实例
Sep 29 Python
python基于xml parse实现解析cdatasection数据
Sep 30 Python
深入理解Python中命名空间的查找规则LEGB
Aug 06 Python
Python 正则表达式实现计算器功能
Apr 29 Python
Python常见加密模块用法分析【MD5,sha,crypt模块】
May 24 Python
python3.6 +tkinter GUI编程 实现界面化的文本处理工具(推荐)
Dec 20 Python
Python设计模式之原型模式实例详解
Jan 18 Python
Python 硬币兑换问题
Jul 29 Python
pandas 如何分割字符的实现方法
Jul 29 Python
解决django xadmin主题不显示和只显示bootstrap2的问题
Mar 30 Python
基于python实现简单网页服务器代码实例
Sep 14 Python
Python编程super应用场景及示例解析
Oct 05 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
Mar 03 #Python
神经网络训练采用gpu设置的方式
Mar 03 #Python
解决TensorFlow训练模型及保存数量限制的问题
Mar 03 #Python
使paramiko库执行命令时在给定的时间强制退出功能的实现
Mar 03 #Python
python上下文管理的使用场景实例讲解
Mar 03 #Python
pip install命令安装扩展库整理
Mar 02 #Python
python实现杨辉三角的几种方法代码实例
Mar 02 #Python
You might like
关于PHP中字符串与多进制转换函数的实例代码
2016/11/03 PHP
PHP多个图片压缩成ZIP的方法
2020/08/18 PHP
关于Laravel参数验证的一些疑与惑
2019/11/19 PHP
jQuery 页面载入进度条实现代码
2009/02/08 Javascript
使用jQuery+HttpHandler+xml模拟一个三级联动的例子
2011/08/09 Javascript
对javascript的一点点认识总结《javascript高级程序设计》读书笔记
2011/11/30 Javascript
js阻止默认事件与js阻止事件冒泡示例分享 js阻止冒泡事件
2014/01/27 Javascript
在myeclipse中如何加入jquery代码提示功能
2014/06/03 Javascript
JS对象与json字符串格式转换实例
2014/10/28 Javascript
node.js中的http.request.end方法使用说明
2014/12/10 Javascript
AngularJS学习笔记之基本指令(init、repeat)
2015/06/16 Javascript
JS特效实现图片自动播放并可控的效果
2015/07/31 Javascript
JavaScript淡入淡出渐变简单实例
2015/08/06 Javascript
jQuery插件实现带圆点的焦点图片轮播切换
2016/01/18 Javascript
类似于QQ的右滑删除效果的实现方法
2016/10/16 Javascript
jquery获取下拉框中的循环值
2017/02/08 Javascript
详解vue2父组件传递props异步数据到子组件的问题
2017/06/29 Javascript
addeventlistener监听scroll跟touch(实例讲解)
2017/08/04 Javascript
JS实现可控制的进度条
2020/03/25 Javascript
[01:43]深扒TI7聊天轮盘语音出处4
2017/05/11 DOTA
在Python的Django框架中生成CSV文件的方法
2015/07/22 Python
Python利用flask sqlalchemy实现分页效果
2020/08/02 Python
python pandas 对时间序列文件处理的实例
2018/06/22 Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
2018/07/06 Python
django使用LDAP验证的方法示例
2018/12/10 Python
python 划分数据集为训练集和测试集的方法
2018/12/11 Python
python 实现return返回多个值
2019/11/19 Python
简单了解python装饰器原理及使用方法
2019/12/18 Python
Python生成词云的实现代码
2020/01/14 Python
记一次pyinstaller打包pygame项目为exe的过程(带图片)
2020/03/02 Python
澳大利亚设计的婴儿和女孩的衣服:Oobi
2018/12/16 全球购物
俄罗斯美容和健康网上商店:Созвездие Красоты
2019/07/23 全球购物
大学生涯自我鉴定
2014/01/16 职场文书
青奥会口号
2014/06/12 职场文书
MySQL中IF()、IFNULL()、NULLIF()、ISNULL()函数的使用详解
2021/06/26 MySQL
redis调用二维码时的不断刷新排查分析
2022/04/01 Redis