详解python异步编程之asyncio(百万并发)


Posted in Python onJuly 07, 2018

前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如最新的微服务框架japronto,resquests per second可达百万级。

python还有一个优势是库(第三方库)极为丰富,运用十分方便。asyncio是python3.4版本引入到标准库,python2x没有加这个库,毕竟python3x才是未来啊,哈哈!python3.5又加入了async/await特性。

在学习asyncio之前,我们先来理清楚同步/异步的概念:

同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行。。。

异步是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果。

一、asyncio

下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用sleep(1)模拟耗时1秒的io操作。

同步代码:

import time

def hello():
  time.sleep(1)

def run():
  for i in range(5):
    hello()
    print('Hello World:%s' % time.time()) # 任何伟大的代码都是从Hello World 开始的!
if __name__ == '__main__':
  run()

输出:(间隔差不多是1s)

Hello World:1527595175.4728756
Hello World:1527595176.473001
Hello World:1527595177.473494
Hello World:1527595178.4739306
Hello World:1527595179.474482 

异步代码:

import time
import asyncio

# 定义异步函数
async def hello():
  asyncio.sleep(1)
  print('Hello World:%s' % time.time())

def run():
  for i in range(5):
    loop.run_until_complete(hello())

loop = asyncio.get_event_loop()
if __name__ =='__main__':
  run()

输出:

Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501
Hello World:1527595104.8338501 

async def 用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用asyncio.get_event_loop()时会创建事件循环,你需要把异步的任务丢给这个循环的run_until_complete()方法,事件循环会安排协同程序的执行。  

二、aiohttp

如果需要并发http请求怎么办呢,通常是用requests,但requests是同步的库,如果想异步的话需要引入aiohttp。这里引入一个类,from aiohttp import ClientSession,首先要建立一个session对象,然后用session对象去打开网页。session可以进行多项操作,比如post, get, put, head等。

基本用法:

async with ClientSession() as session:
async with session.get(url) as response:

aiohttp异步实现的例子:

import asyncio
from aiohttp import ClientSession


tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
      response = await response.read()
      print(response)

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  loop.run_until_complete(hello(url))

首先async def 关键字定义了这是个异步函数,await 关键字加在需要等待的操作前面,response.read()等待request响应,是个耗IO操作。然后使用ClientSession类发起http请求。

多链接异步访问

如果我们需要请求多个URL该怎么办呢,同步的做法访问多个URL只需要加个for循环就可以了。但异步的实现方式并没那么容易,在之前的基础上需要将hello()包装在asyncio的Future对象中,然后将Future对象列表作为任务传递给事件循环。

import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
      response = await response.read()
#      print(response)
      print('Hello World:%s' % time.time())

def run():
  for i in range(5):
    task = asyncio.ensure_future(hello(url.format(i)))
    tasks.append(task)


if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  run()
  loop.run_until_complete(asyncio.wait(tasks))

输出:

Hello World:1527754874.8915546
Hello World:1527754874.899039
Hello World:1527754874.90004
Hello World:1527754874.9095392
Hello World:1527754874.9190395 

收集http响应

好了,上面介绍了访问不同链接的异步实现方式,但是我们只是发出了请求,如果要把响应一一收集到一个列表中,最后保存到本地或者打印出来要怎么实现呢,可通过asyncio.gather(*tasks)将响应全部收集起来,具体通过下面实例来演示。

import time
import asyncio
from aiohttp import ClientSession

tasks = []
url = "https://www.baidu.com/{}"
async def hello(url):
  async with ClientSession() as session:
    async with session.get(url) as response:
#      print(response)
      print('Hello World:%s' % time.time())
      return await response.read()

def run():
  for i in range(5):
    task = asyncio.ensure_future(hello(url.format(i)))
    tasks.append(task)
  result = loop.run_until_complete(asyncio.gather(*tasks))
  print(result)

if __name__ == '__main__':
  loop = asyncio.get_event_loop()
  run()

输出:

Hello World:1527765369.0785167
Hello World:1527765369.0845182
Hello World:1527765369.0910277
Hello World:1527765369.0920424
Hello World:1527765369.097017
[b'<!DOCTYPE html>\r\n<!--STATUS OK-->\r\n<html>\r\n<head>\r\n......

异常解决

假如你的并发达到1000个,程序会报错:ValueError: too many file descriptors in select()。这个报错的原因是因为 Python 调取的 select 对打开的文件字符有最大长度限制。这里我们有两种方法解决这个问题:1.我们可以需要限制并发数量。一次不要塞那么多任务,或者限制最大并发数量。2.我们可以使用回调的方式。这里个人推荐限制并发数的方法,设置并发数为500或者600,处理速度更快。

#coding:utf-8
import time,asyncio,aiohttp


url = 'https://www.baidu.com/'
async def hello(url,semaphore):
  async with semaphore:
    async with aiohttp.ClientSession() as session:
      async with session.get(url) as response:
        return await response.read()


async def run():
  semaphore = asyncio.Semaphore(500) # 限制并发量为500
  to_get = [hello(url.format(),semaphore) for _ in range(1000)] #总共1000任务
  await asyncio.wait(to_get)


if __name__ == '__main__':
#  now=lambda :time.time()
  loop = asyncio.get_event_loop()
  loop.run_until_complete(run())
  loop.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的Django框架中自定义模版标签的示例
Jul 20 Python
利用标准库fractions模块让Python支持分数类型的方法详解
Aug 11 Python
Python学习pygal绘制线图代码分享
Dec 09 Python
python操作oracle的完整教程分享
Jan 30 Python
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
Nov 18 Python
Python Cookie 读取和保存方法
Dec 28 Python
python通过paramiko复制远程文件及文件目录到本地
Apr 30 Python
Python3网络爬虫中的requests高级用法详解
Jun 18 Python
使用pyqt 实现重复打开多个相同界面
Dec 13 Python
Pytorch实现LSTM和GRU示例
Jan 14 Python
Python flask路由间传递变量实例详解
Jun 03 Python
Python3.9.1中使用match方法详解
Feb 08 Python
基于Python开发chrome插件的方法分析
Jul 07 #Python
Python实现基于C/S架构的聊天室功能详解
Jul 07 #Python
Python实现的txt文件去重功能示例
Jul 07 #Python
Django 多语言教程的实现(i18n)
Jul 07 #Python
python利用requests库进行接口测试的方法详解
Jul 06 #Python
python生成密码字典的方法
Jul 06 #Python
Python 3.x 判断 dict 是否包含某键值的实例讲解
Jul 06 #Python
You might like
Linux fgetcsv取得的数组元素为空字符串的解决方法
2011/11/25 PHP
php实现QQ空间获取当前用户的用户名并生成图片
2015/07/25 PHP
php实现微信发红包功能
2018/07/13 PHP
jquery自动完成插件(autocomplete)应用之PHP版
2009/12/15 Javascript
jQuery中的pushStack实现原理和应用实例
2015/02/03 Javascript
浅谈javascript的Array.prototype.slice.call
2015/08/31 Javascript
JavaScript设计模式经典之命令模式
2016/02/24 Javascript
JS判断输入字符串长度实例代码(汉字算两个字符,字母数字算一个)
2016/08/02 Javascript
Vue.js第一天学习笔记(数据的双向绑定、常用指令)
2016/12/01 Javascript
实现JavaScript高性能的数据存储
2016/12/11 Javascript
Vue cli3 库模式搭建组件库并发布到 npm的流程
2018/10/12 Javascript
Vue.js 事件修饰符的使用教程
2018/11/01 Javascript
浅谈vux之x-input使用以及源码解读
2018/11/04 Javascript
redux.js详解及基本使用
2019/05/24 Javascript
Vue filter 过滤器、以及在table中的使用介绍
2020/09/07 Javascript
[02:51]DOTA2 Supermajor小组分组对阵抽签仪式
2018/06/01 DOTA
详解Python中expandtabs()方法的使用
2015/05/18 Python
Python 类与元类的深度挖掘 I【经验】
2016/05/06 Python
Python下的Softmax回归函数的实现方法(推荐)
2017/01/26 Python
Python开发之Nginx+uWSGI+virtualenv多项目部署教程
2019/05/13 Python
python编写猜数字小游戏
2019/10/06 Python
Python zip函数打包元素实例解析
2019/12/11 Python
tensorflow 模型权重导出实例
2020/01/24 Python
利用python 读写csv文件
2020/09/10 Python
Python实现曲线拟合的最小二乘法
2021/02/19 Python
HTML5使用Audio标签实现歌词同步的效果
2016/03/17 HTML / CSS
宏碁西班牙官网:Acer西班牙
2021/01/08 全球购物
.NET面试10题
2014/02/24 面试题
实验教师岗位职责
2014/02/13 职场文书
大四学生找工作的自荐信
2014/03/27 职场文书
《音乐之都维也纳》教学反思
2014/04/16 职场文书
婚庆开业庆典主持词
2015/06/30 职场文书
婚宴致辞
2015/07/28 职场文书
2016年圣诞节寄语(一句话)
2015/12/07 职场文书
2019自荐信范文集锦!
2019/07/03 职场文书
Django框架中视图的用法
2022/06/10 Python