• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    python3读取文件指定行的三种方法

    行遍历实现

    在python中如果要将一个文件完全加载到内存中,通过file.readlines()即可,但是在文件占用较高时,我们是无法完整的将文件加载到内存中的,这时候就需要用到python的file.readline()进行迭代式的逐行读取:

    filename = 'hello.txt'
    
    with open(filename, 'r') as file:
        line = file.readline()
        counts = 1
        while line:
            if counts >= 50000000:
                break
            line = file.readline()
            counts += 1

    这里我们的实现方式是先用一个with语句打开一个文件,然后用readline()函数配合while循环逐行加载,最终通过一个序号标记来结束循环遍历,输出文件第50000000行的内容。该代码的执行效果如下:

    dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 
    
    real    0m10.359s
    user    0m10.062s
    sys     0m0.296s

    可以看到这里的耗时为10s多一些。

    linecache实现

    虽然在python的readline函数中并没有实现读取指定行内容的方案,但是在另一个库linecache中是实现了的,由于使用的方式较为简单,这里直接放上代码示例供参考:

    filename = 'hello.txt'
    
    import linecache
    text = linecache.getline(filename, 50000000)

    该代码的执行结果如下:

    dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 
    
    real    0m11.904s
    user    0m5.672s
    sys     0m6.231s

    虽然在实现方式上简化了许多,但是我们发现这个实现的用时超过了11s,还不如我们自己手动实现的循环遍历方案。因此如果是对于性能有一定要求的场景,是不建议采用这个方案的。

    命令行sed获取

    我们知道用Linux系统本身自带的sed指令也是可以获取到文件指定行或者是指定行范围的数据的,其执行指令为:sed -n 50000000p filename即表示读取文件的第50000000行的内容。同时结合python的话,我们可以在python代码中执行系统指令并获取输出结果:

    filename = 'hello.txt'
    
    import os
    result = os.popen('sed -n {}p {}'.format(50000000, filename)).read()

    需要注意的是,如果直接运行os.system()是没有返回值的,只有os.popen()是有返回值的,并且需要在尾巴加上一个read()的选项。该代码的执行结果如下:

    dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 
    
    real    0m2.532s
    user    0m0.032s
    sys     0m0.020s

    可以看到直接使用sed指令的执行速度很快,但是用这种方法并不是一本万利的,比如以下这个例子:

    filename = 'hello.txt'
    
    import os
    result = os.popen('sed -n {}p {}'.format(500, filename)).read()

    我们把读取第50000000行内容改为读取第500行的内容,再运行一次程序:

    dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 
    
    real    0m2.540s
    user    0m0.037s
    sys     0m0.013s

    然而我们发现这个速度并没有因为要读取的行数减少了而变少,而是几乎保持不变的。

    总结概要

    本文通过4个测试案例分析了在python中读取文件指定行内容的方案,并得到了一些运行耗时的数据。从需求上来说,如果是对于小规模的数据,比如几百行规模的数据,建议使用readline循环遍历来操作,速度也相当不错,或者是linecache中的函数实现也是可以的,甚至可以直接用readlines将整个文本内容加载到内存中。但是对于数据规模比较大的场景,比如超过了千万行的级别,那么使用sed指令的方式对指定行内容进行读取的方式,应该是所有方式中最快速的。

    本文首发链接为:https://www.cnblogs.com/dechinphy/p/lbl.html

    作者ID:DechinPhy

    以上就是python3读取文件指定行的三种方法的详细内容,更多关于python读取文件指定行的资料请关注脚本之家其它相关文章!

    您可能感兴趣的文章:
    • python 利用openpyxl读取Excel表格中指定的行或列教程
    • Python fileinput模块如何逐行读取多个文件
    • Python 整行读取文本方法并去掉readlines换行\n操作
    • python读取excel进行遍历/xlrd模块操作
    • 如何在Python对Excel进行读取
    • 使用Python对Dicom文件进行读取与写入的实现
    • python读取文件指定行内容实例讲解
    • Python逐行读取文件内容的方法总结
    • Python从文件中读取指定的行以及在文件指定位置写入
    • python按行读取文件并找出其中指定字符串
    上一篇:pytorch中Schedule与warmup_steps的用法说明
    下一篇:PyTorch梯度裁剪避免训练loss nan的操作
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    python3读取文件指定行的三种方法 python3,读取,文件,指定,行的,