详解python异步编程之asyncio(百万并发)


Posted in Python onJuly 07, 2018

前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquests per second可达百万级。

python还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio是python3.4版本引入到标准库,python2x没有加这个库,毕竟python3x才是未来啊,哈哈!python3.5又加入了async/await特性。

在学习asyncio之前,我们先来理清楚同步/异步的概念:

同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。。。

异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。

一、asyncio

下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用sleep(1)模拟耗时1秒的io操作。

同步代码:

import time

def hello():
  time.sleep(1)

def run():
  for i in range(5):
    hello()
    print('Hello World:%s' % time.time()) # 任何伟大的代码都是从Hello World 开始的!
if __name__ == '__main__':
  run()

输出:(间隔差不多是1s)

Hello World:1527595175.4728756
Hello World:1527595176.473001
Hello World:1527595177.473494
Hello World:1527595178.4739306
Hello World:1527595179.474482 

异步代码:

import time
import asyncio

# 定义异步函数
async def hello():
  asyncio.sleep(1)
  print('Hello World:%s' % time.time())

def run():
  for i in range(5):
    loop.run_until_complete(hello())

loop = asyncio.get_event_loop()
if __name__ =='__main__':
  run()

输出:

Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501 

async def 用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用asyncio.get_event_loop()时会创建事件循环,你需要把异步的任务丢给这个循环的run_until_complete()方法,事件循环会安排协同程序的执行。  

二、aiohttp

如果需要并发http请求怎么办呢,通常是用requests,但requests是同步的库,如果想异步的话需要引入aiohttp。这里引入一个类,from aiohttp import ClientSession,首先要建立一个session对象,然后用session对象去打开网页。session可以进行多项操作,比如post, get, put, head等。

基本用法:

async with ClientSession() as session:
async with session.get(url) as response:

aiohttp异步实现的例子:

import asyncio
from aiohttp import ClientSession


tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
      response = await response.read()
      print(response)

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  loop.run_until_complete(hello(url))

首先async def 关键字定义了这是个异步函数,await 关键字加在需要等待的操作前面,response.read()等待request响应,是个耗IO操作。然后使用ClientSession类发起http请求。

多链接异步访问

如果我们需要请求多个URL该怎么办呢,同步的做法访问多个URL只需要加个for循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将hello()包装在asyncio的Future对象中,然后将Future对象列表作为任务传递给事件循环。

import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
      response = await response.read()
#      print(response)
      print('Hello World:%s' % time.time())

def run():
  for i in range(5):
    task = asyncio.ensure_future(hello(url.format(i)))
    tasks.append(task)


if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  run()
  loop.run_until_complete(asyncio.wait(tasks))

输出:

Hello World:1527754874.8915546
Hello World:1527754874.899039
Hello World:1527754874.90004
Hello World:1527754874.9095392
Hello World:1527754874.9190395 

收集http响应

好了,上面介绍了访问不同链接的异步实现方式,但是我们只是发出了请求,如果要把响应一一收集到一个列表中,最后保存到本地或者打印出来要怎么实现呢,可通过asyncio.gather(*tasks)将响应全部收集起来,具体通过下面实例来演示。

import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
#      print(response)
      print('Hello World:%s' % time.time())
      return await response.read()

def run():
  for i in range(5):
    task = asyncio.ensure_future(hello(url.format(i)))
    tasks.append(task)
  result = loop.run_until_complete(asyncio.gather(*tasks))
  print(result)

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  run()

输出:

Hello World:1527765369.0785167
Hello World:1527765369.0845182
Hello World:1527765369.0910277
Hello World:1527765369.0920424
Hello World:1527765369.097017
[b'<!DOCTYPE html>\r\n<!--STATUS OK-->\r\n<html>\r\n<head>\r\n......

异常解决

假如你的并发达到1000个,程序会报错:ValueError: too many file descriptors in select()。这个报错的原因是因为 Python 调取的 select 对打开的文件字符有最大长度限制。这里我们有两种方法解决这个问题:1.我们可以需要限制并发数量。一次不要塞那么多任务,或者限制最大并发数量。2.我们可以使用回调的方式。这里个人推荐限制并发数的方法,设置并发数为500或者600,处理速度更快。

#coding:utf-8
import time,asyncio,aiohttp


url = 'https://www.baidu.com/'
async def hello(url,semaphore):
  async with semaphore:
    async with aiohttp.ClientSession() as session:
      async with session.get(url) as response:
        return await response.read()


async def run():
  semaphore = asyncio.Semaphore(500) # 限制并发量为500
  to_get = [hello(url.format(),semaphore) for _ in range(1000)] #总共1000任务
  await asyncio.wait(to_get)


if __name__ == '__main__':
#  now=lambda :time.time()
  loop = asyncio.get_event_loop()
  loop.run_until_complete(run())
  loop.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python求解平方根的方法
Mar 11 Python
python连接MySQL数据库实例分析
May 12 Python
从源码解析Python的Flask框架中request对象的用法
Jun 02 Python
python利用拉链法实现字典方法示例
Mar 25 Python
python不换行之end=与逗号的意思及用途
Nov 21 Python
Linux CentOS7下安装python3 的方法
Jan 21 Python
浅谈python的输入输出,注释,基本数据类型
Apr 02 Python
梅尔倒谱系数(MFCC)实现
Jun 19 Python
python opencv 检测移动物体并截图保存实例
Mar 10 Python
Pycharm pyuic5实现将ui文件转为py文件,让UI界面成功显示
Apr 08 Python
Python接收手机短信的代码整理
Aug 02 Python
python palywright库基本使用
Jan 21 Python
基于Python开发chrome插件的方法分析
Jul 07 #Python
Python实现基于C/S架构的聊天室功能详解
Jul 07 #Python
Python实现的txt文件去重功能示例
Jul 07 #Python
Django 多语言教程的实现(i18n)
Jul 07 #Python
python利用requests库进行接口测试的方法详解
Jul 06 #Python
python生成密码字典的方法
Jul 06 #Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
Jul 06 #Python
You might like
php imagecreatetruecolor 创建高清和透明图片代码小结
2010/05/15 PHP
php中http_build_query 的一个问题
2012/03/25 PHP
php获取json数据所有的节点路径
2015/05/17 PHP
CodeIgniter表单验证方法实例详解
2016/03/03 PHP
Centos6.5和Centos7 php环境搭建方法
2016/05/27 PHP
Yii+MYSQL锁表防止并发情况下重复数据的方法
2016/07/14 PHP
PHP常用操作类之通信数据封装类的实现
2017/07/16 PHP
PHP面向对象程序设计之对象的遍历操作示例
2019/06/12 PHP
PHP+iframe模拟Ajax上传文件功能示例
2019/07/02 PHP
解决php用mysql方式连接数据库出现Deprecated报错问题
2019/12/25 PHP
javascript模仿msgbox提示效果代码
2008/06/10 Javascript
JS弹出可拖拽可关闭的div层完整实例
2015/02/13 Javascript
Dojo获取下拉框的文本和值实例代码
2016/05/27 Javascript
AngularJS优雅的自定义指令
2016/07/01 Javascript
微信小程序 wx:key详细介绍
2016/10/28 Javascript
JS仿Base.js实现的继承示例
2017/04/07 Javascript
react.js CMS 删除功能的实现方法
2017/04/17 Javascript
vue在使用ECharts时的异步更新和数据加载详解
2017/11/22 Javascript
原生JS实现ajax与ajax的跨域请求实例
2017/12/01 Javascript
vue项目中axios使用详解
2018/02/07 Javascript
前端路由&amp;webpack基础配置详解
2019/06/10 Javascript
解决ele ui 表格表头太长问题的实现
2019/11/13 Javascript
解决Nuxt使用axios跨域问题
2020/07/06 Javascript
JavaScript实现下拉列表
2021/01/20 Javascript
python虚拟环境迁移方法
2019/01/03 Python
python中的单引号双引号区别知识点总结
2019/06/23 Python
解决python明明pip安装成功却找不到包的问题
2019/08/28 Python
python numpy库np.percentile用法说明
2020/06/08 Python
python datetime时间格式的相互转换问题
2020/06/11 Python
通过代码实例了解Python异常本质
2020/09/16 Python
html5视频媒体标签video的使用方法及完整参数说明详解
2019/09/27 HTML / CSS
中专生毕业自我鉴定
2013/11/01 职场文书
说明书怎么写
2014/05/06 职场文书
2015年银行大堂经理工作总结
2015/04/24 职场文书
CSS3 实现NES游戏机的示例代码
2021/04/21 HTML / CSS
Nginx进程调度问题详解
2021/09/25 Servers