首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

如何利用python生成MD5并去重

Posted in Python onDecember 07, 2020

给每个文件生成一个MD5值，来对文件进行加密，是常用的文件校验方法，但是MD5的缺陷就是不能防止碰撞，

所以不同文件生成的MD5可能是相同的，因此就需要进行去重操作。

为方便演示，我用txt文件代替文件夹,用txt文件中的字符串代替文件夹中文件来生成MD5值并进行去重操作。

如何利用python生成MD5并去重

每个txt文件中有字符串，用于生成MD5值：

如何利用python生成MD5并去重

然后用代码生成MD5值并输出为文件，打印了一下字符串的数量和MD5的数量，两者是相同的：

如何利用python生成MD5并去重

生成的MD5文件内容就是128位的MD5值，每个值一行：

如何利用python生成MD5并去重

接下来对这些MD5进行去重操作，运行程序，会自动生成一个txt文件并将去重后的MD5写入。

如何利用python生成MD5并去重

到此这篇关于如何利用python生成MD5并去重的文章就介绍到这了,更多相关python生成MD5并去重内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木！

如何利用python生成MD5并去重

- Author -

liulanba

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python字符串对其居中显示的方法
Jul 11 Python
深入浅析python中的多进程、多线程、协程
Jun 22 Python
python使用xslt提取网页数据的方法
Feb 23 Python
和孩子一起学习python之变量命名规则
May 27 Python
Python3.5以上版本lxml导入etree报错的解决方案
Jun 26 Python
Python 使用指定的网卡发送HTTP请求的实例
Aug 21 Python
Python内存映射文件读写方式
Apr 24 Python
pycharm开发一个简单界面和通用mvc模板(操作方法图解)
May 27 Python
Python pip安装第三方库实现过程解析
Jul 09 Python
利用python对excel中一列的时间数据更改格式操作
Jul 14 Python
python 自动刷新网页的两种方法
Apr 20 Python
如何Python使用re模块实现okenizer
Apr 30 Python
解决python3.6用cx_Oracle库连接Oracle的问题
Dec 07 #Python
python selenium 获取接口数据的实现
Dec 07 #Python
C++和python实现阿姆斯特朗数字查找实例代码
Dec 07 #Python
selenium判断元素是否存在的两种方法小结
Dec 07 #Python
pycharm实现猜数游戏
Dec 07 #Python
Python Selenium XPath根据文本内容查找元素的方法
Dec 07 #Python
Selenium关闭INFO:CONSOLE提示的解决
Dec 07 #Python
PHP面试题(54) 马耳他购物网站(1) JAVA面试题(401) 约旦购物网站(1) Android面试题(6) 哈萨克斯坦购物网站(2) C++面试题(199) 冰岛购物网站(1) 保加利亚购物网站(3) 白俄罗斯购物网站(3)
You might like
用PHP读取flv文件的播放时间长度
2009/09/03 PHP
dedecms函数分享之获取某一栏目所有子栏目
2014/05/19 PHP
PHP使用in_array函数检查数组中是否存在某个值
2015/03/25 PHP
学习php设计模式 php实现原型模式(prototype)
2015/12/07 PHP
php简单获取复选框值的方法
2016/05/11 PHP
php 解析xml 的四种方法详细介绍
2016/10/26 PHP
PHP 二维关联数组根据其中一个字段排序（推荐）
2017/04/04 PHP
PHP实现下载远程图片保存到本地的方法
2017/06/19 PHP
PHP检测接口Traversable用法详解
2017/12/29 PHP
PHP自定义序列化接口Serializable用法分析
2017/12/29 PHP
PHP array_shift()用法实例分析
2019/01/07 PHP
laravel 查询数据库获取结果实现判断是否为空
2019/10/24 PHP
PHP扩展类型及安装方式解析
2020/04/27 PHP
fancybox1.3.1 基于Jquery的插件在IE中图片显示问题
2010/10/01 Javascript
js实现仿京东2级菜单效果(带延时功能)
2015/08/27 Javascript
javascript先序遍历DOM树的方法
2016/02/27 Javascript
第一章之初识Bootstrap
2016/04/25 Javascript
一个极为简单的requirejs实现方法
2016/10/20 Javascript
基于JavaScript实现随机颜色输入框
2016/12/10 Javascript
JS简单生成随机数(随机密码)的方法
2017/05/11 Javascript
Vue computed计算属性的使用方法
2017/07/14 Javascript
react.js 父子组件数据绑定实时通讯的示例代码
2017/09/25 Javascript
JavaScript中的一些隐式转换和总结(推荐)
2017/12/22 Javascript
浅谈webpack组织模块的原理
2018/03/10 Javascript
vue 解决data中定义图片相对路径页面不显示的问题
2020/08/13 Javascript
解决vue项目中出现Invalid Host header的问题
2020/11/17 Javascript
[02:05:03]完美世界DOTA2联赛循环赛 LBZS VS Matador BO2 10.28
2020/10/28 DOTA
Flask-WTF表单的使用方法
2019/07/12 Python
python中pygame安装过程（超级详细）
2019/08/04 Python
Python模拟登录和登录跳转的参考示例
2020/10/30 Python
python自动化办公操作PPT的实现
2021/02/05 Python
消防隐患整改通知书
2015/04/22 职场文书
MySQL索引篇之千万级数据实战测试
2021/04/05 MySQL
用CSS3画一个爱心
2021/04/27 HTML / CSS
golang slice元素去重操作
2021/04/30 Golang
Django给表单添加honeypot验证增加安全性
2021/05/06 Python