• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    python实现MD5进行文件去重的示例代码

    前言

    工作中偶尔会遇到文件去重的事情,收到一大堆文件,名称各不相同,分析文件的时候发现有不少重复的文件,导致工作效率低下,那么,这里就写了一个python脚本实现文件去重功能

    工作原理

    脚本会检查你给出的文件路径下的所有文件,然后计算每个文件的MD5值,并将其加入到一个列表中。

    代码

    import os
    import shutil
    import hashlib
    
    
    # 对文件去重
    # 计算每个文件的md5值,据此进行去重
    def only_one(test_path):
        md5_list = []
        count = 0
        for current_folder, list_folders, files in os.walk(test_path):
            for file in files:
                file_path = current_folder + '\\' + file  # 获取每个文件的路径
                f = open(file_path, 'rb')  # 开始计算每个文件的md5值
                md5obj = hashlib.md5()
                md5obj.update(f.read())
                get_hash = md5obj.hexdigest()
                f.close()
                md5_value = str(get_hash).upper()
                # 开始去重
                if md5_value in md5_list:  # 如果这个文件的md5值曾经出现过,就不对它做任何处理
                    count += 1
                    print('\033[31m[-] 发现重复文件:\033[0m' + str(file))
                else:
                    md5_list.append(md5_value)  # 如果这个文件的md5值不存在列表中,就添加进列表中
                    shutil.copy(file_path, path1)
        print('\033[31m[-] 共发现重复文件:{}个\033[0m'.format(count))
    
    
    if __name__ == '__main__':
        print('\033[4;33m[+] 此脚本会检查指定路径下的所有文件,通过计算文件的MD5值进行去重\033[0m')
        print('\033[4;33m[+] 去重后的文件会复制到桌面新文件夹中,源文件不会丢失\033[0m')
        path = input('\033[34m[+] 请输入文件夹地址:\033[0m')
        os.chdir(path)
    
        # path1 用来存放所有的去重结果
        desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')  # 获取桌面路径
        path1 = os.path.join(desktop_path, '去重结果')
        os.makedirs(path1)
    
        only_one(path)
        print('\033[32m[-] 现有非重复文件共计:{}个\033[0m'.format(len(os.listdir(path1))))
    
    

    到此这篇关于python实现MD5进行文件去重的示例代码的文章就介绍到这了,更多相关python MD5文件去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • 对python读写文件去重、RE、set的使用详解
    • Python实现的txt文件去重功能示例
    • 8行代码实现Python文件去重
    上一篇:深入浅析python3 依赖倒置原则(示例代码)
    下一篇:如何利用Python实现一个论文降重工具
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    python实现MD5进行文件去重的示例代码 python,实现,MD5,进行,文件,