如何提高python 中for循环的效率


Posted in Python onApril 15, 2020

对于某个城市的出租车数据,一天就有33210000条记录,如何将每辆车的数据单独拎出来放到一个专属的文件中呢?

思路很简单:

就是循环33210000条记录,将每辆车的数据搬运到它该去的文件中。

但是对于3000多万条数据,一个一个循环太消耗时间,我花了2个小时才搬运了60万数据,算算3000万我需要花费100个小时,也就需要4-5天。并且还需要保证这五天全天开机,不能出现卡机的事故。

因此,需要使用并行进行for循环的技巧:

由于3000万数据放到csv中导致csv打不开,因此我就把一个csv通过split软件将其切分成每份60万,共53个csv。

我原来的思路是读取文件夹,获取由每一个60万的csv文件组成的列表,再分别对每一个60万的csv进行处理。实质上还是循环33210000次,并行for循环就是同时处理几个60万的csv文件,就能成倍的减少时间消耗。

并行进行for循环是受下面的方法启发:

我之前的做法类似这样:

words = ['apple', 'bananan', 'cake', 'dumpling']
  for word in words:
    print word

并行for循环类似这样:

from multiprocessing.dummy import Pool as ThreadPool
items = list()
pool = ThreadPool()
pool.map(process, items)
pool.close()
pool.join()

其中,process是进行处理的函数

实例代码如下:

# -*- coding: utf-8 -*-
import time
from multiprocessing.dummy import Pool as ThreadPool
def process(item):
  print('正在并行for循环')
  print(item)
  time.sleep(5)
items = ['apple', 'bananan', 'cake', 'dumpling']
pool = ThreadPool()
pool.map(process, items)
pool.close()
pool.join()

补充知识:Python3用多线程替代for循环提升程序运行速度

优化前后新老代码如下:

from git_tools.git_tool import get_collect_projects, QQNews_Git
from threading import Thread, Lock
import datetime

base_url = "http://git.xx.com"
project_members_commits_lang_info = {}
lock = Lock()
threads = []

'''
Author:zenkilan
'''

def count_time(func):
  def took_up_time(*args, **kwargs):
    start_time = datetime.datetime.now()
    ret = func(*args, **kwargs)
    end_time = datetime.datetime.now()
    took_up_time = (end_time - start_time).total_seconds()
    print(f"{func.__name__} execution took up time:{took_up_time}")
    return ret

  return took_up_time

def get_project_member_lang_code_lines(git, member, begin_date, end_date):
  global project_members_commits_lang_info
  global lock
  member_name = member["username"]
  r = git.get_user_info(member_name)
  if not r["id"]:
    return
  user_commits_lang_info = git.get_commits_user_lang_diff_between(r["id"], begin_date, end_date)
  if len(user_commits_lang_info) == 0:
    return
  lock.acquire()
  project_members_commits_lang_info.setdefault(git.project, dict())
  project_members_commits_lang_info[git.project][member_name] = user_commits_lang_info
  lock.release()


def get_project_lang_code_lines(project, begin_date, end_date):
  global threads
  git = QQNews_Git(project[1], base_url, project[0])
  project_members = git.get_project_members()
  if len(project_members) == 0:
    return
  for member in project_members:
    thread = Thread(target=get_project_member_lang_code_lines, args=(git, member, begin_date, end_date))
    threads.append(thread)
    thread.start()

@count_time
def get_projects_lang_code_lines(begin_date, end_date):
  """
  获取项目代码行语言相关统计——新方法(提升效率)
  应用多线程替代for循环
  并发访问共享外部资源
  :return:
  """
  global project_members_commits_lang_info
  global threads
  for project in get_collect_projects():
    thread = Thread(target=get_project_lang_code_lines, args=(project, begin_date, end_date))
    threads.append(thread)
    thread.start()

@count_time
def get_projects_lang_code_lines_old(begin_date, end_date):
  """
  获取项目代码行语言相关统计——老方法(耗时严重)
  使用最基本的思路进行编程
  双层for循环嵌套并且每层都包含耗时操作
  :return:
  """
  project_members_commits_lang_info = {}
  for project in get_collect_projects():
    git = QQNews_Git(project[1], base_url, project[0])
    project_members = git.get_project_members()
    user_commits_lang_info_dict = {}
    if len(project_members) == 0:
      continue
    for member in project_members:
      member_name = member["username"]
      r = git.get_user_info(member_name, debug=False)
      if not r["id"]:
        continue
      try:
        user_commits_lang_info = git.get_commits_user_lang_diff_between(r["id"], begin_date, end_date)
        if len(user_commits_lang_info) == 0:
          continue
        user_commits_lang_info_dict[member_name] = user_commits_lang_info
        project_members_commits_lang_info[git.project] = user_commits_lang_info_dict
      except:
        pass
  return project_members_commits_lang_info

def test_results_equal(resultA, resultB):
  """
  测试方法
  :param resultA:
  :param resultB:
  :return:
  """
  print(resultA)
  print(resultB)
  assert len(str(resultA)) == len(str(resultB))


if __name__ == '__main__':
  from git_tools.config import begin_date, end_date

  get_projects_lang_code_lines(begin_date, end_date)
  for t in threads:
    t.join()
  old_result = get_projects_lang_code_lines_old(begin_date, end_date)
  test_results_equal(old_result, project_members_commits_lang_info)

老方法里外层for循环和内层for循环里均存在耗时操作:

1)git.get_project_members()

2)git.get_user_info(member_name, debug=False)

分两步来优化,先里后外或先外后里都行。用多线程替换for循环,并发共享外部资源,加锁避免写冲突。

测试结果通过,函数运行时间装饰器显示(单位秒):

get_projects_lang_code_lines execution took up time:1.85294

get_projects_lang_code_lines_old execution took up time:108.604177

速度提升了约58倍

以上这篇如何提高python 中for循环的效率就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正常时间和unix时间戳相互转换的方法
Apr 23 Python
python利用urllib和urllib2访问http的GET/POST详解
Sep 27 Python
ubuntu17.4下为python和python3装上pip的方法
Jun 12 Python
Python把csv数据写入list和字典类型的变量脚本方法
Jun 15 Python
Sanic框架Cookies操作示例
Jul 17 Python
python爬虫自动创建文件夹的功能
Aug 01 Python
Python语言检测模块langid和langdetect的使用实例
Feb 19 Python
Python数据分析模块pandas用法详解
Sep 04 Python
Django实现auth模块下的登录注册与注销功能
Oct 10 Python
Python实现socket非阻塞通讯功能示例
Nov 06 Python
利用 PyCharm 实现本地代码和远端的实时同步功能
Mar 23 Python
Vs Code中8个好用的python 扩展插件
Oct 12 Python
ipython jupyter notebook中显示图像和数学公式实例
Apr 15 #Python
解决 jupyter notebook 回车换两行问题
Apr 15 #Python
Python使用monkey.patch_all()解决协程阻塞问题
Apr 15 #Python
使用python处理题库表格并转化为word形式的实现
Apr 14 #Python
浅谈Python中re.match()和re.search()的使用及区别
Apr 14 #Python
Jupyter加载文件的实现方法
Apr 14 #Python
利用jupyter网页版本进行python函数查询方式
Apr 14 #Python
You might like
php预定义常量
2006/12/25 PHP
php 全局变量范围分析
2009/08/07 PHP
PHP 配置open_basedir 让各虚拟站点独立运行
2009/11/12 PHP
PHP从FLV文件获取视频预览图的方法
2015/03/12 PHP
分享php邮件管理器源码
2016/01/06 PHP
经典的带阴影的可拖动的浮动层
2006/06/26 Javascript
Javascript调试工具(下载)
2007/01/09 Javascript
用正则获取指定路径文件的名称
2007/02/27 Javascript
jQuery 数据缓存data(name, value)详解及实现
2010/01/04 Javascript
JQuery DataTable删除行后的页面更新利用Ajax解决
2013/05/17 Javascript
jQuery实现仿Alipay支付宝首页全屏焦点图切换特效
2015/05/04 Javascript
JavaScript制作颜色反转小游戏
2016/09/25 Javascript
vue项目中使用axios上传图片等文件操作
2017/11/02 Javascript
vue使用中的内存泄漏【推荐】
2018/07/10 Javascript
Vue.js结合bootstrap前端实现分页和排序效果
2018/12/29 Javascript
原生JavaScript实现的无缝滚动功能详解
2020/01/17 Javascript
手把手带你入门微信小程序新框架Kbone的使用
2020/02/25 Javascript
pycharm debug功能实现跳到循环末尾的方法
2018/11/29 Python
Python中的Socket 与 ScoketServer 通信及遇到问题解决方法
2019/04/01 Python
Python Django Cookie 简单用法解析
2019/08/13 Python
python随机模块random使用方法详解
2020/02/14 Python
Python BeautifulReport可视化报告代码实例
2020/04/13 Python
PyTorch在Windows环境搭建的方法步骤
2020/05/12 Python
Django模板标签{% for %}循环,获取制定条数据实例
2020/05/14 Python
Python实现发票自动校核微信机器人的方法
2020/05/22 Python
基于PyTorch中view的用法说明
2021/03/03 Python
高清屏下canvas重置尺寸引发的问题的解决
2019/10/14 HTML / CSS
惠普加拿大在线商店:HP加拿大
2017/09/15 全球购物
JAVA中运算符的分类及举例
2015/09/12 面试题
高中生家长会演讲稿
2014/01/14 职场文书
公司司机岗位职责
2014/02/07 职场文书
《老山界》教学反思
2014/04/08 职场文书
治安消防安全责任书
2014/07/23 职场文书
运动会开幕词
2015/01/28 职场文书
合作意向书怎么写
2019/06/24 职场文书
MybatisPlus EntityWrapper如何自定义SQL
2022/03/22 Java/Android