python实现MD5进行文件去重的示例代码


Posted in Python onJuly 09, 2021
目录
  • 前言
  • 工作原理
  • 代码

 

前言

工作中偶尔会遇到文件去重的事情,收到一大堆文件,名称各不相同,分析文件的时候发现有不少重复的文件,导致工作效率低下,那么,这里就写了一个python脚本实现文件去重功能

 

工作原理

脚本会检查你给出的文件路径下的所有文件,然后计算每个文件的MD5值,并将其加入到一个列表中。

  • 如果某文件的MD5值不在列表中,就认定其是我们需要的文件,脚本会在桌面新建一个名为“去重结果”的文件夹,并将其复制到里面去。
  • 如果某文件的MD5值在列表中,就认定其不是我们需要的文件,不对其做任何处理。
  • 代码可以直接运行,无需做任何修改(除了安装可能缺少的库文件)

 

代码

import os
import shutil
import hashlib


# 对文件去重
# 计算每个文件的md5值,据此进行去重
def only_one(test_path):
    md5_list = []
    count = 0
    for current_folder, list_folders, files in os.walk(test_path):
        for file in files:
            file_path = current_folder + '\\' + file  # 获取每个文件的路径
            f = open(file_path, 'rb')  # 开始计算每个文件的md5值
            md5obj = hashlib.md5()
            md5obj.update(f.read())
            get_hash = md5obj.hexdigest()
            f.close()
            md5_value = str(get_hash).upper()
            # 开始去重
            if md5_value in md5_list:  # 如果这个文件的md5值曾经出现过,就不对它做任何处理
                count += 1
                print('\033[31m[-] 发现重复文件:\033[0m' + str(file))
            else:
                md5_list.append(md5_value)  # 如果这个文件的md5值不存在列表中,就添加进列表中
                shutil.copy(file_path, path1)
    print('\033[31m[-] 共发现重复文件:{}个\033[0m'.format(count))


if __name__ == '__main__':
    print('\033[4;33m[+] 此脚本会检查指定路径下的所有文件,通过计算文件的MD5值进行去重\033[0m')
    print('\033[4;33m[+] 去重后的文件会复制到桌面新文件夹中,源文件不会丢失\033[0m')
    path = input('\033[34m[+] 请输入文件夹地址:\033[0m')
    os.chdir(path)

    # path1 用来存放所有的去重结果
    desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')  # 获取桌面路径
    path1 = os.path.join(desktop_path, '去重结果')
    os.makedirs(path1)

    only_one(path)
    print('\033[32m[-] 现有非重复文件共计:{}个\033[0m'.format(len(os.listdir(path1))))

python实现MD5进行文件去重的示例代码

到此这篇关于python实现MD5进行文件去重的示例代码的文章就介绍到这了,更多相关python MD5文件去重内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Python中PDB模块中的命令来调试Python代码的教程
Mar 30 Python
python查找目录下指定扩展名的文件实例
Apr 01 Python
python实现TCP服务器端与客户端的方法详解
Apr 30 Python
举例讲解Linux系统下Python调用系统Shell的方法
Nov 07 Python
Python中urllib+urllib2+cookielib模块编写爬虫实战
Jan 20 Python
python自定义异常实例详解
Jul 11 Python
使用实现pandas读取csv文件指定的前几行
Apr 20 Python
Python中GeoJson和bokeh-1的使用讲解
Jan 03 Python
Python docx库用法示例分析
Feb 16 Python
python实现异常信息堆栈输出到日志文件
Dec 26 Python
详解使用python3.7配置开发钉钉群自定义机器人(2020年新版攻略)
Apr 01 Python
Python析构函数__del__定义原理解析
Nov 20 Python
深入浅析python3 依赖倒置原则(示例代码)
Jul 09 #Python
Python中Selenium对Cookie的操作方法
Python常用配置文件ini、json、yaml读写总结
图文详解matlab原始处理图像几何变换
Django中session进行权限管理的使用
python利用pandas分析学生期末成绩实例代码
使用pandas生成/读取csv文件的方法实例
You might like
php指定函数参数默认值示例代码
2013/12/04 PHP
百度实时推送api接口应用示例
2014/10/21 PHP
PHP获取用户客户端真实IP的解决方案
2016/10/10 PHP
Yii2中简单的场景使用介绍
2017/06/02 PHP
PHP微信PC二维码登陆的实现思路
2017/07/13 PHP
心扬JS分页函数代码
2010/09/10 Javascript
火狐4、谷歌12不支持Jquery Validator的解决方法分享
2011/06/20 Javascript
Javascript获取表单名称(name)的方法
2015/04/02 Javascript
jQuery插件zoom实现图片全屏放大弹出层特效
2015/04/15 Javascript
jQuery查找节点方法完整实例
2016/09/13 Javascript
Bootstrap table两种分页示例
2016/12/23 Javascript
详解JS中的快速排序与冒泡
2017/01/10 Javascript
老生常谈jacascript DOM节点获取
2017/04/17 Javascript
微信小程序 scroll-view实现锚点滑动的示例
2017/12/06 Javascript
JavaScript 对引擎、运行时、调用堆栈的概述理解
2018/10/22 Javascript
浅谈Ant Design Pro 菜单自定义 icon
2020/11/17 Javascript
js实现鼠标切换图片(无定时器)
2021/01/27 Javascript
Python内置的字符串处理函数整理
2013/01/29 Python
将图片文件嵌入到wxpython代码中的实现方法
2014/08/11 Python
Python中列表、字典、元组数据结构的简单学习笔记
2016/03/20 Python
Python 通过pip安装Django详细介绍
2017/04/28 Python
单链表反转python实现代码示例
2018/02/08 Python
Python实现获取前100组勾股数的方法示例
2018/05/04 Python
Linux下Python安装完成后使用pip命令的详细教程
2018/11/22 Python
Python3实现的回文数判断及罗马数字转整数算法示例
2019/03/27 Python
Python3.5多进程原理与用法实例分析
2019/04/05 Python
OpenCV 模板匹配
2019/07/10 Python
Python中字典与恒等运算符的用法分析
2019/08/22 Python
Python同时迭代多个序列的方法
2020/07/28 Python
如何利用input事件来监听移动端的输入
2016/04/15 HTML / CSS
JAVA程序设计笔试题面试题一套
2015/07/28 面试题
求职推荐信
2013/10/28 职场文书
2014年语文教师工作总结
2014/12/18 职场文书
刑事辩护词范文
2015/05/21 职场文书
Java比较两个对象中全部属性值是否相等的方法
2021/08/07 Java/Android
Springboot如何同时装配两个相同类型数据库
2021/11/17 Java/Android