Python实现的多进程拷贝文件并显示百分比功能示例


Posted in Python onApril 09, 2019

本文实例讲述了Python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:

centos7下查看cup核数:

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷贝文件采用的是最简单的但是有最复杂的方式:

1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件

2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中

直接上代码:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    # oldFolderName = input("请输入文件夹的名字:") # python3
    oldFolderName = raw_input("请输入文件夹的名字:") # python2
    # 1. 创建一个新的文件夹
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 获取old文件夹中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5)
    # 创建一个队列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 关闭进程池,不再接受请求
    pool.join() # 等待所有的子进程结束
    num = 0
    # 需要copy的文件总数
    allNum = len(fileNames)
    while num < allNum:
      # 收数据
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的进度
      time.sleep(0.1) # 容易看出来打印百分比的变化,延长百分比更新的时间
      print "\rcopy的进度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模块shutil模块进行copy操作:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5) # 创建5条进程
    queue = Manager().Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
      pool.close() # 关闭进程池,不再接受请求
      pool.join() # 等待所有的子进程结束
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:(由于我的cup核数为1核,在使用多进程的过程中,操作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)

[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

单进程拷贝文件:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      # 调用函数拷贝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:

[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

我的虚拟机cpu核数:1

如下:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python时间戳与时间字符串互相转换实例代码
Nov 28 Python
详尽讲述用Python的Django框架测试驱动开发的教程
Apr 22 Python
python轻松查到删除自己的微信好友
Jan 10 Python
Windows下Python的Django框架环境部署及应用编写入门
Mar 10 Python
Python实现查询某个目录下修改时间最新的文件示例
Aug 29 Python
python使用Turtle库绘制动态钟表
Nov 19 Python
pyqt5 使用cv2 显示图片,摄像头的实例
Jun 27 Python
基于python的列表list和集合set操作
Nov 24 Python
python基于opencv检测程序运行效率
Dec 28 Python
浅谈Python中的生成器和迭代器
Jun 19 Python
Python3.10的一些新特性原理分析
Sep 15 Python
OpenCV实现常见的四种图像几何变换
Apr 01 Python
Python使用crontab模块设置和清除定时任务操作详解
Apr 09 #Python
Python实现的读取文件内容并写入其他文件操作示例
Apr 09 #Python
Python实现根据日期获取当天凌晨时间戳的方法示例
Apr 09 #Python
Python匿名函数及应用示例
Apr 09 #Python
用Python中的turtle模块画图两只小羊方法
Apr 09 #Python
python3实现表白神器
Apr 09 #Python
详解python配置虚拟环境
Apr 08 #Python
You might like
PHPWind 发帖回帖Api PHP版打包下载
2010/02/08 PHP
destoon二次开发入门示例
2014/06/20 PHP
php简单截取字符串代码示例
2016/10/19 PHP
ThinkPHP3.2框架自定义配置和加载用法示例
2018/06/14 PHP
详解PHP 二维数组排序保持键名不变
2019/03/06 PHP
Iframe thickbox2.0使用的方法
2009/03/05 Javascript
一步一步制作jquery插件Tabs实现过程
2010/07/06 Javascript
js模拟select下拉菜单控件的代码
2013/05/08 Javascript
jquery实现div阴影效果示例代码
2013/09/16 Javascript
详解AngularJS中自定义指令的使用
2015/06/17 Javascript
使用AngularJS创建单页应用的编程指引
2015/06/19 Javascript
JS设置时间无效问题的解决办法
2017/02/18 Javascript
JavaScript错误处理和堆栈追踪详解
2017/04/18 Javascript
基于jquery实现多级菜单效果
2017/07/25 jQuery
vue中的v-if和v-show的区别详解
2019/09/01 Javascript
vue实现自定义多选按钮
2020/07/16 Javascript
Python操作Excel之xlsx文件
2017/03/24 Python
python发送邮件实例分享
2017/07/28 Python
python实战之实现excel读取、统计、写入的示例讲解
2018/05/02 Python
pyinstaller打包多个py文件和去除cmd黑框的方法
2019/06/21 Python
详解pyinstaller selenium python3 chrome打包问题
2019/10/18 Python
Django实现CAS+OAuth2的方法示例
2019/10/30 Python
Python求解排列中的逆序数个数实例
2020/05/03 Python
澳大利亚香水在线:Price Rite Mart
2017/12/28 全球购物
土木工程专业自荐信
2013/10/04 职场文书
绿色学校实施方案
2014/03/31 职场文书
争先创优心得体会
2014/09/12 职场文书
2014年政协委员工作总结
2014/12/01 职场文书
先进基层党组织材料
2014/12/25 职场文书
地道战观后感
2015/06/04 职场文书
社区结对共建协议书
2016/03/23 职场文书
导游词之无锡华莱坞
2019/12/02 职场文书
python 自动化偷懒的四个实用操作
2021/04/11 Python
Mongo服务重启异常问题的处理方法
2021/07/01 MongoDB
关于python爬虫应用urllib库作用分析
2021/09/04 Python
Go语言测试库testify使用学习
2022/07/23 Golang