python百万并发_Python进阶：百万「并发」基础之异步编程（下篇）

Python进阶&＃xff1a;百万「并发」基础之异步编程(下篇)HackPython致力于有趣有价值的编程教学

简介

在上一节中&＃xff0c;了解了yield、yield from等概念&＃xff0c;此时Python以及具有编写协程实现「回调」的能力&＃xff0c;而「回调」是异步编程的基础&＃xff0c;随后Python语言的开发者利用yield from能力&＃xff0c;在Python3.4中引入了异步I/O框架asyncio&＃xff0c;该框架在Python3.5中被完善并作为标准库之一&＃xff0c;用于基于协程的异步I/O编程&＃xff0c;本节就来讨论一下asyncio以及async/await等内容。

关键概念

在Python3.4中引入了asyncio.coroutine装饰器来标志函数作为协程函数&＃xff0c;协程函数具有协程的特性并与asyncio的事件循环一同使用&＃xff0c;实现异步编程的目的&＃xff0c;为了避免生成器与协程之间的混淆&＃xff0c;在Python3.5中引入了async/await&＃xff0c;其中async替代asyncio.coroutine装饰器&＃xff0c;await替代yield from&＃xff0c;从而让协程的实现更加直观&＃xff0c;async/await和yield frome这两种不同风格的协程在底层其实是相互复用相互兼容的&＃xff0c;在Python3.6中asyncio库“转正”&＃xff0c;成为正式的标注库。

这里只讨论新的写法&＃xff0c;即async/await实现协程的方式&＃xff0c;Python中协程主要的特性如下&＃xff1a;

1.函数使用了async表达式开头&＃xff0c;即使它不包含await表达式&＃xff0c;也是一个协程函数 2.async协程函数中使用yield或者yield from会阐释SyntaxError错误&＃xff0c;即新旧语法不可混合使用 3.与常规生成器类似&＃xff0c;协程函数在调用时会返回一个coroutine对象 4.与yield方式实现的协程不同&＃xff0c;yield在最后会抛出Stoplteration异常&＃xff0c;而async中则是RuntimeError 5.当async创建的协程函数被垃圾回收时&＃xff0c;一个未被await的协程会抛出RuntimeWarning异常。

在使用asyncio框架前&＃xff0c;需要先了解其中几个概念。

Coroutine 协程

以async表达式开头的函数成为协程函数或简称为协程&＃xff0c;如下&＃xff1a;import asyncio

async def main():

print(&＃39;hello&＃39;)

await asyncio.sleep(1)

print(&＃39;world&＃39;)

asyncio.run(main())

上述代码中&＃xff0c;main() 为协程函数&＃xff0c;其写法是Python3.7的写法&＃xff0c;Python3.7中对asyncio的使用做了简化&＃xff0c; 如果你使用python3.6为主&＃xff0c;其asyncio写法如下&＃xff1a;import asyncio

async def main():

print(&＃39;hello&＃39;)

await asyncio.sleep(1)

print(&＃39;world&＃39;)

def run():

# 创建协程对象

coroutine &＃61; main()

# 创建事件循环

loop &＃61; asyncio.get_event_loop()

# 将协程对象添加到事件循环中&＃xff0c;运行直到结束

loop.run_until_complete(coroutine)

# 关闭事件循环

loop.close()

run()

可以看出&＃xff0c;Python3.6中asyncio的用法会复杂一下&＃xff0c;在Python3.7中&＃xff0c;run()方法已经为我们处理好了创建事件、添加协程对象到事件循环、关闭事件循环等事情 &＃xff0c;即loop asyncio.get_event_loop()

loop.run_until_complete(main())

loop.close()

# 在Python3.7中被替换为

asyncio.run()

当然&＃xff0c;asyncio也支持传统的基于生成器的协程&＃xff0c;不再多提。

Awaitables 可等待对象

「可等待对象」通常有3类&＃xff0c;分别是&＃xff1a;

1.协程 coroutine 2.任务 Task 3.未来对象 Future

一个直观的判断方法就是&＃xff0c;如果一个对象能够被用在 await 表达式中&＃xff0c;那么就可以称这个对象为 「可等待对象」

简单示例如下&＃xff1a;import asyncio

async def myprint():

print(&＃39;hello hackpython&＃39;)

async def main():

# 直接调用&＃xff0c;创建协程对象&＃xff0c;不会执行协程中的内容

myprint()

# 协程对象成为被等待对象后&＃xff0c;才会执行其中的内容

await myprint()

asyncio.run(main())

上述代码会输出如下内容&＃xff1a;use_asyncio4.py:8: RuntimeWarning: coroutine &＃39;myprint&＃39; was never awaited

myprint()

RuntimeWarning: Enable tracemalloc to get the object allocation traceback

hello hackpython

从输入内容可以看出&＃xff0c;直接使用协程函数是不会执行其中的逻辑的&＃xff0c;而且还会因为没有使用而触发相应的警告&＃xff0c; 只有利用await成为可等待对象后&＃xff0c;才会被asyncio事件循环去执行。await会将控制权交由可等待对象。

Task 任务

「任务」主要用于「并发」的调度协程。

一个协程可以通过asyncio.create_task()函数封装成一个Task&＃xff0c;此时这个协程很快就会被自动调度执行&＃xff0c;代码如下&＃xff1a;import asyncio

async def fun1():

print(&＃39;hackpython&＃39;)

async def main():

# 创建任务

task &＃61; asyncio.create_task(fun1())

# 作为被等待对象

await task

asyncio.run(main())

asyncio.createtask() 是 Python 3.7 新增的方法&＃xff0c;如果是Python3.6还可以用 asyncio.ensurefuture 和 loop.create_task 。

可以将Task理解为协程对象的进一步封装&＃xff0c;其中包含着各种状态&＃xff0c;简单使用如下&＃xff1a;async def a():

print(&＃39;a funtion start.&＃39;)

await asyncio.sleep(2)

print(&＃39;a function end.&＃39;)

async def main():

# task &＃61; asyncio.ensure_future(a())

task &＃61; asyncio.create_task(a())

print(task)

print(task.done())

await task

print(task)

print(task.done())

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

asyncio.run(main())

上述代码输出如下&＃xff1a;>

False

a funtion start.

a function end.

result&＃61;None>

True

从输出内容可以看出&＃xff0c;一开始Task任务的状态为pending(等待状态)&＃xff0c;调用其done()方法可以判断该任务是否执行 &＃xff0c;可以看出&＃xff0c;没有利用await将其转为可等待对象前&＃xff0c;Task任务是没有执行的&＃xff0c;使用await后&＃xff0c;即将控制权交由task对象&＃xff0c;此时再次打印&＃xff0c;发现其状态改变为finshed(完成状态)&＃xff0c;调用done()方法后可得该任务被正常执行了 。

Future 未来对象

Future代表着一个未来对象&＃xff0c;当异步操作结束后会将最终的结果设置到Future对象上&＃xff0c;Future同样是对协程的封装&＃xff0c;它是一个偏底层的类&＃xff0c;具有比较多的方法可以做一些复杂的操作&＃xff0c;但在日常开发时&＃xff0c;并不会去使用 &＃xff0c;更多的是使用其Task任务&＃xff0c;它其实是Future的一个子类 。

Eventloop事件循环

使用 asyncio 框架时&＃xff0c;其实就是开启一个事件循环&＃xff0c;事件循环对应的实例提供了注册、取消、执行与回调等方法&＃xff0c;方便控制整个事件循环实例。

所谓事件循环&＃xff0c;就是将协程函数、任务 Task、未来对象 Future 等注册到事件循环中&＃xff0c;事件循环实例会循环执行这些函数 &＃xff0c;注意同一时刻下只执行某个函数对象&＃xff0c;具体执行某个函数时&＃xff0c;如果执行到函数中进行 I/O 耗时操作的部分&＃xff0c;事件循环就会将该函数暂停&＃xff0c;而去执行其他函数&＃xff0c;等进行 I/O 耗时操作的函数执行完后&＃xff0c;会再次加入循环队列&＃xff0c;等事件循环下次循环到它时继续从此前位置执行&＃xff0c;从而实现这些可异步操作对象的协同运行&＃xff0c;达到并发的效果 。

结尾

asyncio是Python中比较复杂但又非常重要的概念&＃xff0c;在 百万「并发」基础之异步编程 上、中、下三篇文章中比较系统的讨论了异步编程的概念以及在Python中的实现方式 &＃xff0c;但对生成器、yield from以及asyncio等依旧没有深入探讨 &＃xff0c;在HackPython后面的文章中&＃xff0c;会系统性讨论这些概念&＃xff0c;最后欢迎学习 HackPython 的教学课程并感觉您的阅读与支持。