使用pandas读取表格数据并进行单行数据拼接的详细教程


Posted in Python onMarch 03, 2021

业务需求

一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:

id code price num
11 22 33 44
22 33 44 55
33 44 55 66
44 55 66 77
55 66 77 88
66 77 88 99

 现在需要将code的这一列用逗号,拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77',这样的情况,我们需要怎么处理呢?当然方式有很多……

多行文本批量处理

有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。

  • 选中需要操作的多行,按下Ctr+Shift+L即可同时编辑这些行
  • 鼠标选中文本,反复按CTRL+D即可继续向下同时选中下一个相同的文本进行同时编辑
  • 鼠标选中文本,按下Alt+F3即可一次性选择全部的相同文本进行同时编辑

如何节省效率

在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。

pandas读取表格数据并处理

这我们使用Python的pandas模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。

sheet = pandas.read_excel(io=file_name, usecols=[line_num])
data = sheet.values.tolist()
str_data = ''
# 循环处理数据
print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
for x in range(len(data)):
  if str(data[x][0]) != 'nan':
    str_data += "'" + str(data[x][0]) + "',"

完整源码

因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller模块来将脚本进行打包成exe的window可执行文件,使其在无Python的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py,我已有打包的上传到交友网站Github上,大家有兴趣的话,可以点击查看哦,交个朋友地址:github.com/gxcuizy

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
拼接Excel表格单行数据,并写入文本
author: gxcuizy
time: 2021-03-01
"""

import pandas
import random
import os
import time


def print_msg(msg=''):
  """打印信息"""
  now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
  print('[' + now_time + '] ' + msg)


# 程序主入口
if __name__ == "__main__":
  # 获取传入参数
  file_name = input('请输入当前目录下的表格文件名(例如“01.xlsx”):')
  line_num = input('请输入要拼装的数据第几列(例如“1”):')
  # 判断文件是否存在
  if os.path.exists(file_name) == False:
    print_msg('文件不存在')
    os.system("pause")
    exit(0)
  # 判断输入的行数是否为数字
  if line_num.isdigit() == False:
    print_msg('请输入列数的数字')
    os.system("pause")
    exit(0)
  try:
    # 获取表格数据
    print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据')
    line_num = int(line_num) - 1
    sheet = pandas.read_excel(io=file_name, usecols=[line_num])
    data = sheet.values.tolist()
    str_data = ''
    # 循环处理数据
    print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
    for x in range(len(data)):
      if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"
    # 写入文本文件
    print_msg('数据处理完毕,开始写入……')
    random_num = random.randint(1000, 9999)
    with open('str_' + str(random_num) + '.txt', 'w') as f:
      f.write(str_data.strip(','))
    print_msg('数据写入完毕.')
  except Exception as err_info:
    # 异常信息
    print_msg(str(err_info))
  # 防止exe程序执行结束闪退
  os.system("pause")

到此这篇关于使用pandas读取表格数据并进行单行数据拼接的详细教程的文章就介绍到这了,更多相关pandas读取表格并拼接内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python Queue模块详解
Nov 30 Python
Python列表计数及插入实例
Dec 17 Python
python解决网站的反爬虫策略总结
Oct 26 Python
python妙用之编码的转换详解
Apr 21 Python
Python使用filetype精确判断文件类型
Jul 02 Python
Python使用re模块正则提取字符串中括号内的内容示例
Jun 01 Python
python paramiko利用sftp上传目录到远程的实例
Jan 03 Python
python3.7 利用函数os pandas利用excel对文件名进行归类
Sep 29 Python
python 6.7 编写printTable()函数表格打印(完整代码)
Mar 25 Python
python爬虫把url链接编码成gbk2312格式过程解析
Jun 08 Python
详解python实现可视化的MD5、sha256哈希加密小工具
Sep 14 Python
pytorch 6 batch_train 批训练操作
May 28 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
Mar 03 #Python
神经网络训练采用gpu设置的方式
Mar 03 #Python
解决TensorFlow训练模型及保存数量限制的问题
Mar 03 #Python
使paramiko库执行命令时在给定的时间强制退出功能的实现
Mar 03 #Python
python上下文管理的使用场景实例讲解
Mar 03 #Python
pip install命令安装扩展库整理
Mar 02 #Python
python实现杨辉三角的几种方法代码实例
Mar 02 #Python
You might like
php连接Access数据库错误及解决方法
2013/06/20 PHP
Yii使用migrate命令执行sql语句的方法
2016/03/15 PHP
javascript下查找父节点的简单方法
2007/08/13 Javascript
JavaScript实现动态增加文件域表单
2009/02/12 Javascript
div+css布局的图片连续滚动js实现代码
2010/05/04 Javascript
JSON 数据格式介绍
2012/01/13 Javascript
jQuery之过滤元素操作小结
2013/11/30 Javascript
JQuery与JS里submit()的区别示例介绍
2014/02/17 Javascript
setinterval()与clearInterval()JS函数的调用方法
2015/01/21 Javascript
javascript中call和apply的用法示例分析
2015/04/02 Javascript
JS加载iFrame出现空白问题的解决办法
2016/05/13 Javascript
详解利用exif.js解决ios手机上传竖拍照片旋转90度问题
2016/11/04 Javascript
通过jsonp获取json数据实现AJAX跨域请求
2017/01/22 Javascript
JS判断非空至少输入两个字符的简单实现方法
2017/06/23 Javascript
three.js中文文档学习之通过模块导入
2017/11/20 Javascript
vue地址栏直接输入路由无效问题的解决
2018/11/15 Javascript
JavaScript模板引擎原理与用法详解
2018/12/24 Javascript
JavaScript使用闭包模仿块级作用域操作示例
2019/01/21 Javascript
vue cli4下环境变量和模式示例详解
2020/04/09 Javascript
JQuery插件tablesorter表格排序实现过程解析
2020/05/28 jQuery
[02:11]完美世界DOTA2联赛10月28日赛事精彩集锦:来吧展示实力强劲
2020/10/29 DOTA
Python中elasticsearch插入和更新数据的实现方法
2018/04/01 Python
python简单区块链模拟详解
2019/07/03 Python
python爬虫学习笔记之pyquery模块基本用法详解
2020/04/09 Python
Pyinstaller打包Scrapy项目的实现步骤
2020/09/22 Python
英国领先的豪华时尚家居网上商店:Amara
2019/08/12 全球购物
函授本科毕业自我鉴定
2013/10/09 职场文书
个人遵守党的政治纪律情况对照检查材料
2014/09/26 职场文书
小学生2015教师节演讲稿
2015/03/19 职场文书
企业战略合作意向书
2015/05/08 职场文书
无婚姻登记记录证明
2015/06/18 职场文书
2015年团委副书记工作总结
2015/07/23 职场文书
医院中层管理人员培训心得体会
2016/01/11 职场文书
如果用一句诗总结你的上半年,你会用哪句呢?
2019/07/16 职场文书
小程序后台PHP版本部署运行 LNMP+WNMP
2021/04/01 Servers
Go获取两个时区的时间差
2022/04/20 Golang