• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    使用pandas读取表格数据并进行单行数据拼接的详细教程

    业务需求

    一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:

    id code price num
    11 22 33 44
    22 33 44 55
    33 44 55 66
    44 55 66 77
    55 66 77 88
    66 77 88 99

     现在需要将code的这一列用逗号,拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77',这样的情况,我们需要怎么处理呢?当然方式有很多……

    多行文本批量处理

    有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。

    如何节省效率

    在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
    如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。

    pandas读取表格数据并处理

    这我们使用Python的pandas模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。

    sheet = pandas.read_excel(io=file_name, usecols=[line_num])
    data = sheet.values.tolist()
    str_data = ''
    # 循环处理数据
    print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
    for x in range(len(data)):
      if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"
    

    完整源码

    因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller模块来将脚本进行打包成exe的window可执行文件,使其在无Python的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py,我已有打包的上传到交友网站Github上,大家有兴趣的话,可以点击查看哦,交个朋友地址:github.com/gxcuizy

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    
    """
    拼接Excel表格单行数据,并写入文本
    author: gxcuizy
    time: 2021-03-01
    """
    
    import pandas
    import random
    import os
    import time
    
    
    def print_msg(msg=''):
      """打印信息"""
      now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
      print('[' + now_time + '] ' + msg)
    
    
    # 程序主入口
    if __name__ == "__main__":
      # 获取传入参数
      file_name = input('请输入当前目录下的表格文件名(例如“01.xlsx”):')
      line_num = input('请输入要拼装的数据第几列(例如“1”):')
      # 判断文件是否存在
      if os.path.exists(file_name) == False:
        print_msg('文件不存在')
        os.system("pause")
        exit(0)
      # 判断输入的行数是否为数字
      if line_num.isdigit() == False:
        print_msg('请输入列数的数字')
        os.system("pause")
        exit(0)
      try:
        # 获取表格数据
        print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据')
        line_num = int(line_num) - 1
        sheet = pandas.read_excel(io=file_name, usecols=[line_num])
        data = sheet.values.tolist()
        str_data = ''
        # 循环处理数据
        print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
        for x in range(len(data)):
          if str(data[x][0]) != 'nan':
            str_data += "'" + str(data[x][0]) + "',"
        # 写入文本文件
        print_msg('数据处理完毕,开始写入……')
        random_num = random.randint(1000, 9999)
        with open('str_' + str(random_num) + '.txt', 'w') as f:
          f.write(str_data.strip(','))
        print_msg('数据写入完毕.')
      except Exception as err_info:
        # 异常信息
        print_msg(str(err_info))
      # 防止exe程序执行结束闪退
      os.system("pause")
    
    

    到此这篇关于使用pandas读取表格数据并进行单行数据拼接的详细教程的文章就介绍到这了,更多相关pandas读取表格并拼接内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • 使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
    • python Pandas 读取txt表格的实例
    • 解决python pandas读取excel中多个不同sheet表格存在的问题
    • 利用Pandas读取表格行数据判断是否相同的方法
    上一篇:用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
    下一篇:python 递归相关知识总结
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    使用pandas读取表格数据并进行单行数据拼接的详细教程 使用,pandas,读取,表格,数据,