适合小白的Asyncio教程！

点击上方“Python乱炖”&＃xff0c;选择“加为星标”

第一时间关注Python技术干货&＃xff01;

所谓「异步 IO」&＃xff0c;就是你发起一个 IO 操作&＃xff0c;却不用等它结束&＃xff0c;你可以继续做其他事情&＃xff0c;当它结束时&＃xff0c;你会得到通知。

Asyncio 是并发&＃xff08;concurrency&＃xff09;的一种方式。对 Python 来说&＃xff0c;并发还可以通过线程&＃xff08;threading&＃xff09;和多进程&＃xff08;multiprocessing&＃xff09;来实现。

Asyncio 并不能带来真正的并行&＃xff08;parallelism&＃xff09;。当然&＃xff0c;因为 GIL&＃xff08;全局解释器锁&＃xff09;的存在&＃xff0c;Python 的多线程也不能带来真正的并行。

可交给 asyncio 执行的任务&＃xff0c;称为协程&＃xff08;coroutine&＃xff09;。一个协程可以放弃执行&＃xff0c;把机会让给其它协程&＃xff08;即 yield from 或 await&＃xff09;。

1. 定义协程

协程的定义&＃xff0c;需要使用 async def 语句。

async def do_some_work(x): pass


do_some_work 便是一个协程。
准确来说&＃xff0c;do_some_work 是一个协程函数&＃xff0c;可以通过 asyncio.iscoroutinefunction 来验证&＃xff1a;

print(asyncio.iscoroutinefunction(do_some_work)) # True


这个协程什么都没做&＃xff0c;我们让它睡眠几秒&＃xff0c;以模拟实际的工作量 &＃xff1a;

async def do_some_work(x):print("Waiting " &＃43; str(x))await asyncio.sleep(x)


在解释 await 之前&＃xff0c;有必要说明一下协程可以做哪些事。协程可以&＃xff1a;

• 等待一个 future 结束

• 等待另一个协程&＃xff08;产生一个结果&＃xff0c;或引发一个异常&＃xff09;

• 产生一个结果给正在等它的协程

• 引发一个异常给正在等它的协程

asyncio.sleep 也是一个协程&＃xff0c;所以 await asyncio.sleep(x) 就是等待另一个协程。可参见 asyncio.sleep 的文档&＃xff1a;

sleep(delay, result&＃61;None, *, loop&＃61;None)
Coroutine that completes after a given time (in seconds).


2. 运行协程

调用协程函数&＃xff0c;协程并不会开始运行&＃xff0c;只是返回一个协程对象&＃xff0c;可以通过 asyncio.iscoroutine 来验证&＃xff1a;

print(asyncio.iscoroutine(do_some_work(3))) # True


此处还会引发一条警告&＃xff1a;

async1.py:16: RuntimeWarning: coroutine &＃39;do_some_work&＃39; was never awaitedprint(asyncio.iscoroutine(do_some_work(3)))


要让这个协程对象运行的话&＃xff0c;有两种方式&＃xff1a;

• 在另一个已经运行的协程中用 await 等待它

• 通过 ensure_future 函数计划它的执行

简单来说&＃xff0c;只有 loop 运行了&＃xff0c;协程才可能运行。
下面先拿到当前线程缺省的 loop &＃xff0c;然后把协程对象交给 loop.run_until_complete&＃xff0c;协程对象随后会在 loop 里得到运行。

loop &＃61; asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))


run_until_complete 是一个阻塞&＃xff08;blocking&＃xff09;调用&＃xff0c;直到协程运行结束&＃xff0c;它才返回。这一点从函数名不难看出。
run_until_complete 的参数是一个 future&＃xff0c;但是我们这里传给它的却是协程对象&＃xff0c;之所以能这样&＃xff0c;是因为它在内部做了检查&＃xff0c;通过 ensure_future 函数把协程对象包装&＃xff08;wrap&＃xff09;成了 future。所以&＃xff0c;我们可以写得更明显一些&＃xff1a;

loop.run_until_complete(asyncio.ensure_future(do_some_work(3)))


完整代码&＃xff1a;

import asyncioasync def do_some_work(x):print("Waiting " &＃43; str(x))await asyncio.sleep(x)loop &＃61; asyncio.get_event_loop()
loop.run_until_complete(do_some_work(3))


运行结果&＃xff1a;

Waiting 3
<三秒钟后程序结束>


3. 回调函数

假如协程是一个 IO 的读操作&＃xff0c;等它读完数据后&＃xff0c;我们希望得到通知&＃xff0c;以便下一步数据的处理。这一需求可以通过往 future 添加回调来实现。

def done_callback(futu):print(&＃39;Done&＃39;)futu &＃61; asyncio.ensure_future(do_some_work(3))
futu.add_done_callback(done_callback)loop.run_until_complete(futu)


4. 多个协程

实际项目中&＃xff0c;往往有多个协程&＃xff0c;同时在一个 loop 里运行。为了把多个协程交给 loop&＃xff0c;需要借助 asyncio.gather 函数。

loop.run_until_complete(asyncio.gather(do_some_work(1), do_some_work(3)))


或者先把协程存在列表里&＃xff1a;

coros &＃61; [do_some_work(1), do_some_work(3)]
loop.run_until_complete(asyncio.gather(*coros))


运行结果&＃xff1a;

Waiting 3
Waiting 1
<等待三秒钟>
Done


这两个协程是并发运行的&＃xff0c;所以等待的时间不是 1 &＃43; 3 &＃61; 4 秒&＃xff0c;而是以耗时较长的那个协程为准。

参考函数 gather 的文档&＃xff1a;

gather(*coros_or_futures, loop&＃61;None, return_exceptions&＃61;False)
Return a future aggregating results from the given coroutines or futures.

发现也可以传 futures 给它&＃xff1a;

futus &＃61; [asyncio.ensure_future(do_some_work(1)),asyncio.ensure_future(do_some_work(3))]loop.run_until_complete(asyncio.gather(*futus))


gather 起聚合的作用&＃xff0c;把多个 futures 包装成单个 future&＃xff0c;因为 loop.run_until_complete 只接受单个 future。

5. run_until_complete和run_forever

我们一直通过 run_until_complete 来运行 loop &＃xff0c;等到 future 完成&＃xff0c;run_until_complete 也就返回了。

async def do_some_work(x):print(&＃39;Waiting &＃39; &＃43; str(x))await asyncio.sleep(x)print(&＃39;Done&＃39;)loop &＃61; asyncio.get_event_loop()coro &＃61; do_some_work(3)
loop.run_until_complete(coro)


输出&＃xff1a;

Waiting 3
<等待三秒钟>
Done
<程序退出>


现在改用 run_forever&＃xff1a;

async def do_some_work(x):print(&＃39;Waiting &＃39; &＃43; str(x))await asyncio.sleep(x)print(&＃39;Done&＃39;)loop &＃61; asyncio.get_event_loop()coro &＃61; do_some_work(3)
asyncio.ensure_future(coro)loop.run_forever()


输出&＃xff1a;

Waiting 3
<等待三秒钟>
Done
<程序没有退出>


三秒钟过后&＃xff0c;future 结束&＃xff0c;但是程序并不会退出。run_forever 会一直运行&＃xff0c;直到 stop 被调用&＃xff0c;但是你不能像下面这样调 stop&＃xff1a;

loop.run_forever()
loop.stop()


run_forever 不返回&＃xff0c;stop 永远也不会被调用。所以&＃xff0c;只能在协程中调 stop&＃xff1a;

async def do_some_work(loop, x):print(&＃39;Waiting &＃39; &＃43; str(x))await asyncio.sleep(x)print(&＃39;Done&＃39;)loop.stop()


这样并非没有问题&＃xff0c;假如有多个协程在 loop 里运行&＃xff1a;

asyncio.ensure_future(do_some_work(loop, 1))
asyncio.ensure_future(do_some_work(loop, 3))loop.run_forever()


第二个协程没结束&＃xff0c;loop 就停止了——被先结束的那个协程给停掉的。
要解决这个问题&＃xff0c;可以用 gather 把多个协程合并成一个 future&＃xff0c;并添加回调&＃xff0c;然后在回调里再去停止 loop。

async def do_some_work(loop, x):print(&＃39;Waiting &＃39; &＃43; str(x))await asyncio.sleep(x)print(&＃39;Done&＃39;)def done_callback(loop, futu):loop.stop()loop &＃61; asyncio.get_event_loop()futus &＃61; asyncio.gather(do_some_work(loop, 1), do_some_work(loop, 3))
futus.add_done_callback(functools.partial(done_callback, loop))loop.run_forever()


其实这基本上就是 run_until_complete 的实现了&＃xff0c;run_until_complete 在内部也是调用 run_forever。

6. Close Loop?

以上示例都没有调用 loop.close&＃xff0c;好像也没有什么问题。所以到底要不要调 loop.close 呢&＃xff1f;
简单来说&＃xff0c;loop 只要不关闭&＃xff0c;就还可以再运行。&＃xff1a;

loop.run_until_complete(do_some_work(loop, 1))
loop.run_until_complete(do_some_work(loop, 3))
loop.close()


但是如果关闭了&＃xff0c;就不能再运行了&＃xff1a;

loop.run_until_complete(do_some_work(loop, 1))
loop.close()
loop.run_until_complete(do_some_work(loop, 3))  # 此处异常


建议调用 loop.close&＃xff0c;以彻底清理 loop 对象防止误用。

7. gather 和 wait

asyncio.gather 和 asyncio.wait 功能相似。

coros &＃61; [do_some_work(loop, 1), do_some_work(loop, 3)]
loop.run_until_complete(asyncio.wait(coros))


具体差别可请参见 StackOverflow 的讨论&＃xff1a;Asyncio.gather vs asyncio.wait。

8. Timer

C&＃43;&＃43; Boost.Asio 提供了 IO 对象 timer&＃xff0c;但是 Python 并没有原生支持 timer&＃xff0c;不过可以用 asyncio.sleep 模拟。

async def timer(x, cb):futu &＃61; asyncio.ensure_future(asyncio.sleep(x))futu.add_done_callback(cb)await futut &＃61; timer(3, lambda futu: print(&＃39;Done&＃39;))
loop.run_until_complete(t)

原文&＃xff1a;https://segmentfault.com/a/1190000008814676

- EOF -

为了大家更快速的学习知识&＃xff0c;掌握技术&＃xff0c;随时沟通交流问题&＃xff0c;特组建了技术交流群&＃xff0c;大家在群里可以分享自己的技术栈&＃xff0c;抛出日常问题&＃xff0c;群里会有很多大佬及时解答的&＃xff0c;这样我们就会结识很多志同道合的人&＃xff0c;长按下图可加我微信&＃xff0c;备注:Python即可进群。扫码加群????

回复:[学习资料]获取最新Python学习资料