Python实现的删除重复文件或图片功能示例【去重】


Posted in Python onApril 23, 2019

本文实例讲述了Python实现的删除重复文件或图片功能。分享给大家供大家参考,具体如下:

通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件,

通过下面的python代码可以将重复的文件删除以达到去重的目的。其中,文件目录结构如下图:

Python实现的删除重复文件或图片功能示例【去重】

# /usr/bin/env python
# -*- coding:utf-8 -*-
# 运行的代码文件要放到删除重复的文件或图片所包含的目录中
import os
import hashlib
def filecount():
  filecount = int(os.popen('dir /B |find /V /C ""').read())
  return (filecount)
def md5sum(filename):
  f = open(filename, 'rb')
  md5 = hashlib.md5()
  while True:
    fb = f.read(8096)
    if not fb:
      break
    md5.update(fb)
  f.close()
  return (md5.hexdigest())
def delfile():
  all_md5 = {}
  filedir = os.walk(os.getcwd())
  for i in filedir:
    for tlie in i[2]:
      if md5sum(tlie) in all_md5.values():
        os.remove(tlie)
      else:
        all_md5[tlie] = md5sum(tlie)
if __name__ == '__main__':
  oldf = filecount()
  print('去重前有', oldf, '个文件\n\n\n请稍等正在删除重复文件...')
  delfile()
  print('\n\n去重后剩', filecount(), '个文件')
  print('\n\n一共删除了', oldf - filecount(), '个文件\n\n')

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python中List的sort方法指南
Sep 01 Python
Python django实现简单的邮件系统发送邮件功能
Jul 14 Python
python3.4下django集成使用xadmin后台的方法
Aug 15 Python
Python Pandas找到缺失值的位置方法
Apr 12 Python
Python类的继承、多态及获取对象信息操作详解
Feb 28 Python
python实现连连看辅助之图像识别延伸
Jul 17 Python
Python自动化导出zabbix数据并发邮件脚本
Aug 16 Python
python中struct模块之字节型数据的处理方法
Aug 27 Python
Python 给下载文件显示进度条和下载时间的实现
Apr 02 Python
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
Apr 19 Python
python属于软件吗
Jun 18 Python
keras用auc做metrics以及早停实例
Jul 02 Python
详解Python 函数如何重载?
Apr 23 #Python
解决Django生产环境无法加载静态文件问题的解决
Apr 23 #Python
Python 存储字符串时节省空间的方法
Apr 23 #Python
Django页面数据的缓存与使用的具体方法
Apr 23 #Python
Python切片操作去除字符串首尾的空格
Apr 22 #Python
详解python中的hashlib模块的使用
Apr 22 #Python
Python 中包/模块的 `import` 操作代码
Apr 22 #Python
You might like
php 全文搜索和替换的实现代码
2008/07/29 PHP
php反弹shell实现代码
2009/04/22 PHP
PHP file_get_contents设置超时处理方法
2013/09/30 PHP
PHP计算指定日期所在周的开始和结束日期的方法
2015/03/24 PHP
PHP的命令行命令使用指南
2015/08/18 PHP
PHP模拟http请求的方法详解
2016/11/09 PHP
在Javascript中定义对象类别
2006/12/22 Javascript
Javascript的一种模块模式
2008/03/22 Javascript
JQuery1.4+ Ajax IE8 内存泄漏问题
2010/10/15 Javascript
jquery.Jwin.js 基于jquery的弹出层插件代码
2012/05/23 Javascript
jquery连缀语法如何实现
2012/11/29 Javascript
JQuery拖拽元素改变大小尺寸实现代码
2012/12/10 Javascript
jQuery Real Person验证码插件防止表单自动提交
2015/11/06 Javascript
详解JavaScript中的Unescape()和String() 函数
2015/11/09 Javascript
jquery+json实现数据二级联动的方法
2015/11/28 Javascript
用js动态添加html元素,以及属性的简单实例
2016/07/19 Javascript
JavaScript中获取时间的函数集
2016/08/16 Javascript
js判断是否是手机页面
2017/03/17 Javascript
layui前段框架日期控件使用方法详解
2017/05/19 Javascript
Express+Nodejs 下的登录拦截实现代码
2017/07/01 NodeJs
详解微信小程序用定时器实现倒计时效果
2019/04/30 Javascript
基于mpvue的简单弹窗组件mptoast使用详解
2019/08/02 Javascript
Python实现的选择排序算法示例
2017/11/29 Python
html5弹跳球示例代码
2013/07/23 HTML / CSS
HTML5实现的图片无限加载的瀑布流效果另带边框圆角阴影
2014/03/07 HTML / CSS
Laura Mercier官网:彩妆大师罗拉玛斯亚的化妆品牌
2018/01/04 全球购物
香港网上花店:FlowerAdvisor香港
2019/05/30 全球购物
汽车维修与检测专业应届生求职信
2013/11/12 职场文书
优秀教师的感人事迹
2014/02/04 职场文书
行政工作个人的自我评价
2014/02/13 职场文书
2014年教师节讲话稿5篇
2014/09/10 职场文书
项目经理岗位职责
2015/01/31 职场文书
2015国庆节66周年演讲稿
2015/03/20 职场文书
人口与计划生育责任书
2015/05/09 职场文书
Smart 2 车辆代号 HC11 全新谍照曝光
2022/04/21 数码科技
python中Pyqt5使用Qlabel标签播放视频
2022/04/22 Python