• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    shell中删除文件中重复行的方法

    Linux下文本处理工具很丰富很强大,例如这样一个文件:

    复制代码 代码如下:
    cat log
    www.jb51.net 192.168.1.1
    www.jb51.net 192.168.1.1
    www.jb51.net 192.168.1.2
    ffffffffffffffffff
    ffffffffffffffffff
    eeeeeeeeeeeeeeeeeeee
    fffffffffffffffffff
    eeeeeeeeeeeeeeeeeeee
    eeeeeeeeeeeeeeeeeeee
    gggggggggggggggggggg

    可用以下方法去除重复行:

    1.使用uniq/sort删除重复行
    注意:单纯uniq是不行的。

    复制代码 代码如下:
    shell> sort -k2n file | uniq > a.out

    这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq没法删除所有的重复行。经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行。

    2.使用用sort+awk命令
    注意:单纯awk同样不行,原因同上。

    复制代码 代码如下:
    shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'

    也可以使用 awk '!i[$1]++' log;

    3.用sort+sed命令,同样需要sort命令先排序。

    复制代码 代码如下:
    shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'

    您可能感兴趣的文章:
    • 判断文件是否存在的shell脚本代码
    • Shell逐行读取文件的4种方法
    • shell去掉文件中空行(空白行)的方法详解
    • shell脚本中执行时提示“没有那个文件或目录”的解决办法
    • shell按行读取文件的3种方法
    • Shell脚本统计文件行数的8种方法
    • Shell获取文件的文件名和扩展名的例子
    • Shell中调用、引用、包含另一个脚本文件的三种方法
    • shell判断文件,目录是否存在或者具有权限的代码
    • shell两个文件去重的多种姿势
    上一篇:shell替换文件中的文件路径脚本分享
    下一篇:centos中mysql备份数据库脚本分享
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    shell中删除文件中重复行的方法 shell,中,删除,文件,重复,