Python实现的多进程拷贝文件并显示百分比功能示例


Posted in Python onApril 09, 2019

本文实例讲述了Python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:

centos7下查看cup核数:

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷贝文件采用的是最简单的但是有最复杂的方式:

1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件

2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中

直接上代码:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    # oldFolderName = input("请输入文件夹的名字:") # python3
    oldFolderName = raw_input("请输入文件夹的名字:") # python2
    # 1. 创建一个新的文件夹
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 获取old文件夹中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5)
    # 创建一个队列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 关闭进程池,不再接受请求
    pool.join() # 等待所有的子进程结束
    num = 0
    # 需要copy的文件总数
    allNum = len(fileNames)
    while num < allNum:
      # 收数据
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的进度
      time.sleep(0.1) # 容易看出来打印百分比的变化,延长百分比更新的时间
      print "\rcopy的进度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模块shutil模块进行copy操作:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5) # 创建5条进程
    queue = Manager().Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
      pool.close() # 关闭进程池,不再接受请求
      pool.join() # 等待所有的子进程结束
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:(由于我的cup核数为1核,在使用多进程的过程中,操作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)

[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

单进程拷贝文件:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      # 调用函数拷贝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:

[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

我的虚拟机cpu核数:1

如下:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python实现比较两个文件夹中代码变化的方法
Jul 10 Python
Python下载网络小说实例代码
Feb 03 Python
Python网络编程基于多线程实现多用户全双工聊天功能示例
Apr 10 Python
Python实现的简单读写csv文件操作示例
Jul 12 Python
python SQLAlchemy 中的Engine详解
Jul 04 Python
django框架创建应用操作示例
Sep 26 Python
Pytorch: 自定义网络层实例
Jan 07 Python
Python调用C语言程序方法解析
Jul 07 Python
使用Python实现微信拍一拍功能的思路代码
Jul 09 Python
Python selenium爬取微信公众号文章代码详解
Aug 12 Python
python 模块重载的五种方法
Apr 24 Python
利用Python判断你的密码难度等级
Jun 02 Python
Python使用crontab模块设置和清除定时任务操作详解
Apr 09 #Python
Python实现的读取文件内容并写入其他文件操作示例
Apr 09 #Python
Python实现根据日期获取当天凌晨时间戳的方法示例
Apr 09 #Python
Python匿名函数及应用示例
Apr 09 #Python
用Python中的turtle模块画图两只小羊方法
Apr 09 #Python
python3实现表白神器
Apr 09 #Python
详解python配置虚拟环境
Apr 08 #Python
You might like
PHP 源代码压缩小工具
2009/12/22 PHP
深入PHP autoload机制的详解
2013/06/09 PHP
php防止伪造的数据从URL提交方法
2014/06/27 PHP
PHP pear安装配置教程
2016/05/14 PHP
DWZ+ThinkPHP开发时遇到的问题分析
2016/12/12 PHP
总结一些PHP中好用但又容易忽略的小知识
2017/06/02 PHP
JQuery设置文本框和密码框得到焦点时的样式
2013/08/30 Javascript
jquery动态添加删除(tr/td)
2015/02/09 Javascript
js实现鼠标点击文本框自动选中内容的方法
2015/08/20 Javascript
在其他地方你学不到的jQuery小贴士和技巧(欢迎收藏)
2016/01/20 Javascript
简单实现js点击展开二级菜单功能
2017/05/16 Javascript
jQueryUI Sortable 应用Demo(分享)
2017/09/07 jQuery
vue + element-ui实现简洁的导入导出功能
2017/12/22 Javascript
vue-scroller记录滚动位置的示例代码
2018/01/17 Javascript
彻底揭秘keep-alive原理(小结)
2019/05/05 Javascript
微信小程序合法域名配置方法
2019/05/06 Javascript
深入理解JS异步编程-Promise
2019/06/03 Javascript
解决Layui中layer报错的问题
2019/09/03 Javascript
vue实现点击追加选中样式效果
2019/11/01 Javascript
JS实现电商商品展示放大镜特效
2020/01/07 Javascript
[03:26]《DAC最前线》之EG经理自述DOTA2经历
2015/02/02 DOTA
Python正确重载运算符的方法示例详解
2017/08/27 Python
python队列通信:rabbitMQ的使用(实例讲解)
2017/12/22 Python
目前最全的python的就业方向
2018/06/05 Python
在vscode中配置python环境过程解析
2019/09/28 Python
用Python实现职工信息管理系统
2020/12/30 Python
Python环境搭建过程从安装到Hello World
2021/02/05 Python
Pycharm 跳转回之前所在页面的操作
2021/02/05 Python
淘宝网店营销策划书
2014/01/11 职场文书
2014两会学习心得:榜样精神伴我行
2014/03/17 职场文书
高中运动会广播稿
2014/09/16 职场文书
郭明义电影观后感
2015/06/08 职场文书
写给汽车4S店的创业计划书,拿来即用!
2019/08/09 职场文书
教你漂亮打印Pandas DataFrames和Series
2021/05/29 Python
Java基础——Map集合
2022/04/01 Java/Android
centos环境下nginx高可用集群的搭建指南
2022/07/23 Servers