python检测文件夹变化,并拷贝有更新的文件到对应目录的方法


Posted in Python onOctober 17, 2018

检测文件夹,拷贝有更新的文件到对应目录 2016.5.19

亲测可用,若有借鉴请修改下文件路径;

学习python小一个月后写的这个功能,属于初学,若有大神路过,求代码优化~

newcopy.py:

检测文件夹中最后修改时间变化的文件,并拷贝复制到相应路径下,拷贝目录会自动检测后输出;测试文件夹路径记得修改;

pyinotify.py:

借用window接口,检测脚本所在目录下文件夹变化(更新、删除、添加等),输出日志到桌面上;

# newcopy.py文件
# -*- coding:UTF-8 -*-
import os
import os.path
import sys
import time
import datetime
import stat
import difflib
import linecache, shutil

# 文件全路径和对应最后修改时间写入到out.txt文档中;
def add_log(path):
 with open('out.txt','w') as f:
  f.close()
 for root , dirs, files in os.walk(path):
  for name in files:
   temp_path = os.path.join(root,name)
   file_name = temp_path.replace('C:/Users/Enter/Desktop/', '')
   file_time = os.stat(temp_path).st_mtime
   with open('out.txt','a') as f:
    f.write( ','.join( ['%s' % file_name , '%s\n' % file_time] ) )
    f.close()

 # 注意时间格式转换
   #file_time = time.localtime(os.stat(root).st_mtime)
   #file_time=date.strftime('%Y-%m-%d %H:%M:%S')

def if_exist():

 # 判断文件out.txt是否存在,不存在则创建
 filename = 'out.txt'
 if os.path.exists(filename):
  message = 'OK, the "%s" file exists.'
 else:
  message = "Sorry, I cannot find the '%s' file..and I create it."
  a = open('out.txt', 'w')
  a.close()
 print message % filename

 # 判断update文件夹是否存在,不存在则创建
 files_name='update'
 if os.path.exists(files_name):
  message = 'OK, the "%s" file exists.'
 else:
  message = "Sorry, I cannot find the '%s' file.and I create it. "
  os.mkdir('update')
 print message % files_name


# path 待比较的文件夹路径
# 返回生成的txt(包含更新或者添加的文件路径)的路径
def log_compare(path):

 # 先确保out.txt存在
 if_exist()

 # 获取out.txt文件内容(文件全路径key和最后修改时间value),生成dict
 txt = open('out.txt', 'r').readlines()
 myDic = {}
 for row in txt:
  (key, value) = row.split(',')
  myDic[key] = value
 print myDic

 # 创建以时间命名的文件和文件夹
 setup_filename = str(datetime.datetime.now().strftime('%Y%m%d%H%M%S'))    # 获取当前时间
 setup_file_path = '%s%s.txt' %('C:/Users/Enter/Desktop/update/' ,setup_filename) # 生成以当前时间命名的.txt文件,准备写入更新日志
 setup_file_dir = '%s%s' %('C:/Users/Enter/Desktop/update/' ,setup_filename)  # 生成以当前时间命名的.txt文件夹

 #判断key,比较value值是否变化
 #原始需要有一个out.txt文件,才能比较value确定是否有更新
 #运行程序时,重新遍历一遍文件全路径和最后修改时间
 for root , dirs, files in os.walk(path):
  for name in files:
   temp_path = os.path.join(root,name)
   file_name = temp_path.replace('C:/Users/Enter/Desktop/', '')
   time = os.stat(temp_path).st_mtime        # 获取最后修改时间
   file_time = '%s\n' % time          # 加%s\n是为了与out.txt里值完全对应
   if myDic.has_key(file_name) == True:
    if cmp(myDic[file_name], file_time):  # myDic[file_name]旧最后修改时间,file_time新最后修改时间
     print (file_name,file_time)    # 输出有变化的文件名及其对应的最后修改时间

     # 输出以文件时间命名的更新日志,生成路径是update下
     with open(setup_file_path,'a') as f: # 有更新的文件,写入更新日志
      f.write( '%s\n' % file_name )
      f.close()
   else:
    print "add",file_name
    with open(setup_file_path,'a') as f:   # 新增的文件,写入更新日志
      f.write( '%s\n' % file_name )
      f.close()

  # 返回 当前时间,以时间命名的文件夹路径,更新文件路径
 return (setup_filename, setup_file_dir, setup_file_path)

# 将src目录中的内容拷贝到dest目录
# 如果dest或者其子目录不存在,先创建
# txt_path为更新日志路径,有更新的文件才拷贝
def copy_directory(src, dest, txt_path):
 if not os.path.exists(txt_path):
  print "no file update"
  return

 # 读更新日志,获取更新文件的全路径

 txt = open(txt_path, 'r').readlines()
 myDic = {}
 myDic2 = {}
 for row in txt:
  myDic[row] = "1"
  tempArray = os.path.split(row)
  key = tempArray[0]
  myDic2[key] = "1"

 print "myDic2:", myDic2
 print "dict:", myDic

 # 遍历原始文件夹,得到所有文件的全路径
 for root, dirs, files in os.walk(src):
  for name in files:
   #print "dirs:",dirs
   fpath = os.path.join(root, name)
   newroot = root
   newroot = newroot.replace(src, dest)  # 根据文件绝对路径,创建将要拷贝的路径(相对路径),没有则创建
   #print newroot
   rel_dir = root.replace('C:/Users/Enter/Desktop/', '')
   if not os.path.exists(newroot) and myDic2.has_key(rel_dir):
    print "rel_dir:" , rel_dir
    print newroot
    os.makedirs(newroot)
    os.chmod(newroot, stat.S_IWRITE)
   temp = fpath
   temp = temp.replace(src, dest)
   rel_path = fpath.replace('C:/Users/Enter/Desktop/', '')  # 将绝对路径改为相对路径,便于遍历对比,挑出要拷贝的文件
   rel_path += '\n'

   if myDic.has_key(rel_path) == True:
    print "real_path:" , rel_path
    # os.mkdir(rel_path)
    shutil.copy(fpath, temp)
    print "copyfile:", fpath


def main():

 path_dir = 'C:/Users/Enter/Desktop/acd'
 path_file = 'C:/Users/Enter/Desktop/out.txt'

 params = log_compare(path_dir)
 add_log(path_dir)
 copy_directory(path_dir, params[1], params[2])


if __name__ == '__main__':
 main()
#pyinotify.py文件
# -*- coding:UTF-8 -*-
import os
import win32file
import win32con
# #检测当前目录下所有文件删除、更新、修改等变化。更新日志输出到桌面。2016.5.23 copy


ACTIONS = {
 1 : "Created",
 2 : "Deleted",
 3 : "Updated",
 4 : "Renamed from something",
 5 : "Renamed to something"
}
# Thanks to Claudio Grondi for the correct set of numbers
FILE_LIST_DIRECTORY = 0x0001
path_to_watch = "."
hDir = win32file.CreateFile (
 path_to_watch,
 FILE_LIST_DIRECTORY,
 win32con.FILE_SHARE_READ | win32con.FILE_SHARE_WRITE,
 None,
 win32con.OPEN_EXISTING,
 win32con.FILE_FLAG_BACKUP_SEMANTICS,
 None
)
while 1:
 #
 # ReadDirectoryChangesW takes a previously-created
 # handle to a directory, a buffer size for results,
 # a flag to indicate whether to watch subtrees and
 # a filter of what changes to notify.
 #
 # NB Tim Juchcinski reports that he needed to up
 # the buffer size to be sure of picking up all
 # events when a large number of files were
 # deleted at once.
 #
 results = win32file.ReadDirectoryChangesW (
 hDir,
 1024,
 True,
  win32con.FILE_NOTIFY_CHANGE_FILE_NAME |
  win32con.FILE_NOTIFY_CHANGE_DIR_NAME |
  win32con.FILE_NOTIFY_CHANGE_ATTRIBUTES |
  win32con.FILE_NOTIFY_CHANGE_SIZE |
  win32con.FILE_NOTIFY_CHANGE_LAST_WRITE |
  win32con.FILE_NOTIFY_CHANGE_SECURITY,
 None,
 None
 )

 #print "results:", results

 for action, file in results:
 full_filename = os.path.join (path_to_watch, file)
 print full_filename, ACTIONS.get (action, "Unknown")
 with open('C:/Users/Enter/Desktop/fileupdate.txt','a') as f:
  #str = ','.join( ['%s' % full_filename , '%s\n' % ACTIONS.get (action, "Unknown")] )
  #print str
  f.write( ','.join( ['%s' % full_filename , '%s\n' % ACTIONS.get (action, "Unknown")] ) )
  f.close()

以上这篇python检测文件夹变化,并拷贝有更新的文件到对应目录的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python验证企业工商注册码
Oct 25 Python
python 队列详解及实例代码
Oct 18 Python
python 获取utc时间转化为本地时间的方法
Dec 31 Python
python集合是否可变总结
Jun 20 Python
解决Python中pandas读取*.csv文件出现编码问题
Jul 12 Python
python对csv文件追加写入列的方法
Aug 01 Python
Django错误:TypeError at / 'bool' object is not callable解决
Aug 16 Python
python 协程 gevent原理与用法分析
Nov 22 Python
matplotlib实现显示伪彩色图像及色度条
Dec 07 Python
python日期与时间戳的各种转换示例
Feb 12 Python
python实现学生成绩测评系统
Jun 22 Python
解决numpy和torch数据类型转化的问题
May 23 Python
python按时间排序目录下的文件实现方法
Oct 17 #Python
python3 读取Excel表格中的数据
Oct 16 #Python
python在html中插入简单的代码并加上时间戳的方法
Oct 16 #Python
Python对切片命名的实现方法
Oct 16 #Python
Python 给某个文件名添加时间戳的方法
Oct 16 #Python
解决python os.mkdir创建目录失败的问题
Oct 16 #Python
python连接mongodb密码认证实例
Oct 16 #Python
You might like
PHP程序员最常犯的11个MySQL错误小结
2010/11/20 PHP
php生成无限栏目树
2017/03/16 PHP
php实现文章评论系统
2019/02/18 PHP
PHP hebrev()函数用法讲解
2019/02/21 PHP
PHP利用curl发送HTTP请求的实例代码
2020/07/09 PHP
同时使用n个window onload加载实例介绍
2013/04/25 Javascript
javascript嵌套函数和在函数内调用外部函数的区别分析
2016/01/31 Javascript
Ztree新增角色和编辑角色回显问题的解决
2016/10/25 Javascript
javascript容错处理代码(屏蔽js错误)
2017/01/20 Javascript
js遍历json的key和value的实例
2017/01/22 Javascript
js 输入框 正则表达式(菜鸟必看教程)
2017/02/19 Javascript
bootstrap paginator分页前后台用法示例
2017/06/17 Javascript
微信小程序 跳转传递数据的实例
2017/07/06 Javascript
vue通过style或者class改变样式的实例代码
2018/10/30 Javascript
15分钟深入了解JS继承分类、原理与用法
2019/01/19 Javascript
ES6 Object属性新的写法实例小结
2019/06/25 Javascript
JS如何定义用字符串拼接的变量
2020/07/11 Javascript
python self,cls,decorator的理解
2009/07/13 Python
python网络编程学习笔记(二):socket建立网络客户端
2014/06/09 Python
python实现数据预处理之填充缺失值的示例
2017/12/22 Python
python读取.mat文件的数据及实例代码
2019/07/12 Python
Python循环实现n的全排列功能
2019/09/16 Python
使用TensorFlow对图像进行随机旋转的实现示例
2020/01/20 Python
django处理select下拉表单实例(从model到前端到post到form)
2020/03/13 Python
python爬虫今日热榜数据到txt文件的源码
2021/02/23 Python
编写html5时调试发现脚本php等网页js、css等失效
2013/12/31 HTML / CSS
Topman美国官网:英国著名的国际平价时尚男装品牌
2017/12/22 全球购物
英国赛车、汽车改装和摩托车零件购物网站:Demon Tweeks
2018/10/29 全球购物
人力资源管理专业自荐信
2014/06/24 职场文书
环境卫生倡议书
2014/08/29 职场文书
综治维稳工作承诺书
2014/08/30 职场文书
乡镇2014法制宣传日活动总结
2014/11/01 职场文书
工作经验交流材料
2014/12/30 职场文书
golang在GRPC中设置client的超时时间
2021/04/27 Golang
Golang 使用Map实现去重与set的功能操作
2021/04/29 Golang
Python实现制作销售数据可视化看板详解
2021/11/27 Python