Python实现的自定义多线程多进程类示例


Posted in Python onMarch 23, 2018

本文实例讲述了Python实现的自定义多线程多进程类。分享给大家供大家参考,具体如下:

最近经常使用到对大量文件进行操作的程序以前每次写的时候都要在函数中再写一个多线程多进程的函数,做了些重复的工作遇到新的任务时还要重写,因此将多线程与多进程的一些简单功能写成一个类,方便使用。功能简单只为以后方便使用。

使用中发现bug会再进行更新

#!/usr/bin/env python
  # -*- coding: utf-8 -*-
  # @Time  : 2017/5/10 12:47
  # @Author : zhaowen.zhu
  # @Site  :
  # @File  : MultiThread.py
  # @Software: Python Idle
  import threading,time,sys,multiprocessing
  from multiprocessing import Pool
  class MyTMultithread(threading.Thread):
    '''''
    自定义的线程函数,
    功能:使用多线程运行函数,函数的参数只有一个file,并且未实现结果值的返回
    args:
      filelist  函数的参数为列表格式,
      funname  函数的名字为字符串,函数仅有一个参数为file
      delay   每个线程之间的延迟,
      max_threads 线程的最大值
    '''
    def __init__(self,filelist,delay,funname,max_threads = 50):
      threading.Thread.__init__(self)
      self.funname = funname
      self.filelist = filelist[:]
      self.delay = delay
      self.max_threads = max_threads
    def startrun(self):
      def runs():
        time.sleep(self.delay)
        while True:
          try:
            file = self.filelist.pop()
          except IndexError as e:
            break
          else:
            self.funname(file)
      threads = []
      while threads or self.filelist:
        for thread in threads:
          if not thread.is_alive():
            threads.remove(thread)
        while len(threads) < self.max_threads and self.filelist:
          thread = threading.Thread(target = runs)
          thread.setDaemon(True)
          thread.start()
          threads.append(thread)
  class Mymultiprocessing (MyTMultithread):
  '''''
  多进程运行函数,多进程多线程运行函数
  args:
    filelist  函数的参数为列表格式,
    funname  函数的名字为字符串,函数仅有一个参数为file
    delay   每个线程\进程之间的延迟,
    max_threads 最大的线程数
    max_multiprocess 最大的进程数
  '''
    def __init__(self,filelist,delay,funname,max_multiprocess = 1,max_threads = 1):
      self.funname = funname
      self.filelist = filelist[:]
      self.delay = delay
      self.max_threads = max_threads
      self.max_multiprocess = max_multiprocess
      self.num_cpus = multiprocessing.cpu_count()
    def multiprocessingOnly(self):
      '''''
    只使用多进程
      '''
      num_process = min(self.num_cpus,self.max_multiprocess)
      processes = []
      while processes or self.filelist:
        for p in processes:
          if not p.is_alive():
            # print(p.pid,p.name,len(self.filelist))
            processes.remove(p)
        while len(processes) < num_process and self.filelist:
          try:
            file = self.filelist.pop()
          except IndexError as e:
            break
          else:
            p = multiprocessing.Process(target=self.funname,args=(file,))
            p.start()
            processes.append(p)
    def multiprocessingThreads(self):
      num_process = min(self.num_cpus,self.max_multiprocess)
      p = Pool(num_process)
      DATALISTS = []
      tempmod = len(self.filelist) % (num_process)
      CD = int((len(self.filelist) + 1 + tempmod)/ (num_process))
      for i in range(num_process):
        if i == num_process:
          DATALISTS.append(self.filelist[i*CD:-1])
        DATALISTS.append(self.filelist[(i*CD):((i+1)*CD)])
      try:
        processes = []
        for i in range(num_process):
          #print('wait add process:',i+1,time.clock())
          #print(eval(self.funname),DATALISTS[i])
          MultThread = MyTMultithread(DATALISTS[i],self.delay,self.funname,self.max_threads)
          p = multiprocessing.Process(target=MultThread.startrun())
          #print('pid & name:',p.pid,p.name)
          processes.append(p)
        for p in processes:
          print('wait join ')
          p.start()
        print('waite over')
      except Exception as e:
        print('error :',e)
      print ('end process')
  def func1(file):
    print(file)
  if __name__ == '__main__':
    a = list(range(0,97))
    '''''
    测试使用5线程
    '''
    st = time.clock()
    asc = MyTMultithread(a,0,'func1',5)
    asc.startrun()
    end = time.clock()
    print('*'*50)
    print('多线程使用时间:',end-st)
    #测试使用5个进程
    st = time.clock()
    asd = Mymultiprocessing(a,0,'func1',5)
    asd.multiprocessingOnly()
    end = time.clock()
    print('*'*50)
    print('多进程使用时间:',end-st)
    #测试使用5进程10线程
    st = time.clock()
    multiPT = Mymultiprocessing(a,0,'func1',5,10)
    multiPT.multiprocessingThreads()
    end = time.clock()
    print('*'*50)
    print('多进程多线程使用时间:',end-st)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python操作列表的常用方法分享
Feb 13 Python
python使用正则表达式检测密码强度源码分享
Jun 11 Python
在Python的Django框架下使用django-tagging的教程
May 30 Python
Python实现ssh批量登录并执行命令
Oct 25 Python
python中的break、continue、exit()、pass全面解析
Aug 05 Python
Tensorflow使用tfrecord输入数据格式
Jun 19 Python
pyqt5的QWebEngineView 使用模板的方法
Aug 18 Python
不到20行代码用Python做一个智能聊天机器人
Apr 19 Python
python面向对象 反射原理解析
Aug 12 Python
使用Python pip怎么升级pip
Aug 11 Python
PyCharm 2020.2 安装详细教程
Sep 25 Python
Jupyter Notebook内使用argparse报错的解决方案
Jun 03 Python
python爬取各类文档方法归类汇总
Mar 22 #Python
关于Python正则表达式 findall函数问题详解
Mar 22 #Python
Django自定义过滤器定义与用法示例
Mar 22 #Python
Python实现基于TCP UDP协议的IPv4 IPv6模式客户端和服务端功能示例
Mar 22 #Python
Python cookbook(数据结构与算法)将名称映射到序列元素中的方法
Mar 22 #Python
Python cookbook(数据结构与算法)从字典中提取子集的方法示例
Mar 22 #Python
python实现将excel文件转化成CSV格式
Mar 22 #Python
You might like
一个显示效果非常不错的PHP错误、异常处理类
2014/03/21 PHP
PHP @ at 记号的作用示例介绍
2014/10/10 PHP
php中$_POST与php://input的区别实例分析
2015/01/07 PHP
php通过function_exists检测函数是否存在的方法
2015/03/18 PHP
setAttribute 与 class冲突解决
2008/02/17 Javascript
javascript中的关于类型转换的性能优化
2010/12/14 Javascript
在jQuery 1.5中使用deferred对象的代码(翻译)
2011/03/10 Javascript
jquery下checked取值问题的解决方法
2012/08/09 Javascript
深入解析contentWindow, contentDocument
2013/07/04 Javascript
简单实现限制uploadify上传个数
2015/11/16 Javascript
javascript编程异常处理实例小结
2015/11/30 Javascript
JavaScript Promise 用法
2016/06/14 Javascript
Javascript将数字转化成为货币格式字符串
2016/06/22 Javascript
jquery css实现邮箱自动补全
2016/11/14 Javascript
JS中parseInt()和map()用法分析
2016/12/16 Javascript
基于bootstrap按钮式下拉菜单组件的搜索建议插件
2017/03/25 Javascript
详解基于webpack和vue.js搭建开发环境
2017/04/05 Javascript
BootStrap TreeView使用实例详解
2017/11/01 Javascript
Parcel.js + Vue 2.x 极速零配置打包体验教程
2017/12/24 Javascript
vue+axios 前端实现登录拦截的两种方式(路由拦截、http拦截)
2018/10/24 Javascript
jquery实现二级导航下拉菜单效果实例
2019/05/14 jQuery
Vue中import from的来源及省略后缀与加载文件夹问题
2020/02/09 Javascript
解读Django框架中的低层次缓存API
2015/07/24 Python
详解Python的hasattr() getattr() setattr() 函数使用方法
2018/07/09 Python
如何为Python终端提供持久性历史记录
2019/09/03 Python
Python 闭包,函数分隔作用域,nonlocal声明非局部变量操作示例
2019/10/14 Python
python数据预处理 :数据共线性处理详解
2020/02/24 Python
解决 jupyter notebook 回车换两行问题
2020/04/15 Python
Python调用shell cmd方法代码示例解析
2020/06/18 Python
酷瑞网络科技面试题
2012/03/30 面试题
《小松树和大松树》教学反思
2014/02/20 职场文书
材料员岗位职责范本
2015/04/11 职场文书
电力安全教育培训心得体会
2016/01/11 职场文书
PHP命令行与定时任务
2021/04/01 PHP
MySQL官方导出工具mysqlpump的使用
2021/05/21 MySQL
关于springboot配置druid数据源不生效问题(踩坑记)
2021/09/25 Java/Android