深入理解 asyncio（二）

Asyncio.gather vs asyncio.wait

在上篇文章已经看到多次用 asyncio.gather 了，还有另外一个用法是 asyncio.wait ，他们都可以让多个协程并发执行。那为什么提供2个方法呢？他们有什么区别，适用场景是怎么样的呢？其实我之前也是有点困惑，直到我读了asyncio的源码。我们先看2个协程的例子:

在IPython里面用gather执行一下：

Ok， asyncio.gather 方法的名字说明了它的用途，gather的意思是「搜集」，也就是能够收集协程的结果，而且要注意，它会按输入协程的顺序保存的对应协程的执行结果。

接着我们说 asyncio.await ，先执行一下：

asyncio.wait 的返回值有2项，第一项表示完成的任务列表(done)，第二项表示等待(Future)完成的任务列表(pending)，每个任务都是一个Task实例，由于这2个任务都已经完成，所以可以执行 task.result() 获得协程返回值。

Ok, 说到这里，我总结下它俩的区别的第一层区别:

1. asyncio.gather 封装的Task全程黑盒，只告诉你协程结果。

2. asyncio.wait 会返回封装的Task(包含已完成和挂起的任务)，如果你关注协程执行结果你需要从对应Task实例里面用result方法自己拿。

为什么说「第一层区别」， asyncio.wait 看名字可以理解为「等待」，所以返回值的第二项是pending列表，但是看上面的例子，pending是空集合，那么在什么情况下，pending里面不为空呢？这就是第二层区别： asyncio.wait 支持选择返回的时机。

asyncio.wait 支持一个接收参数 return_when ，在默认情况下， asyncio.wait 会等待全部任务完成(return when=’ALL COMPLETED’)，它还支持FIRST COMPLETED（第一个协程完成就返回）和FIRST EXCEPTION（出现第一个异常就返回）：

看到了吧，这次只有协程b完成了，协程a还是pending状态。

在大部分情况下，用asyncio.gather是足够的，如果你有特殊需求，可以选择asyncio.wait，举2个例子：

1. 需要拿到封装好的Task，以便取消或者添加成功回调等

2. 业务上需要FIRST COMPLETED/FIRST EXCEPTION即返回的

asyncio.create task vs loop.create task vs asyncio.ensure_future

创建一个Task一共有3种方法，如这小节的标题。在上篇文章我说过，从Python 3.7开始可以统一的使用更高阶的 asyncio.create_task 。其实 asyncio.create_task 就是用的 loop.create_task ：

loop.create_task 接受的参数需要是一个协程，但是 asyncio.ensure_future 除了接受协程，还可以是Future对象或者awaitable对象:

1. 如果参数是协程，其实底层还是用的  loop.create_task ，返回Task对象

2. 如果是Future对象会直接返回

3. 如果是一个awaitable对象会await这个对象的__await__方法，再执行一次  ensure_future ，最后返回Task或者Future

所以就像 ensure_future 名字说的，确保这个是一个Future对象：Task是Future 子类，前面说过一般情况下开发者不需要自己创建Future

其实前面说的 asyncio.wait 和 asyncio.gather 里面都用了 asyncio.ensure_future 。对于绝大多数场景要并发执行的是协程，所以直接用 asyncio.create_task 就足够了~

shield

接着说 asyncio.shield ，用它可以屏蔽取消操作。一直到这里，我们还没有见识过Task的取消。看一个例子:

在上面的例子中，task1被取消了后再用 asyncio.gather 收集结果，直接抛CancelledError错误了。这里有个细节，gather支持 return_exceptions 参数：

可以看到，task2依然会执行完成，但是task1的返回值是一个CancelledError错误，也就是任务被取消了。如果一个创建后就不希望被任何情况取消，可以使用 asyncio.shield 保护任务能顺利完成。不过要注意一个陷阱，先看错误的写法：

可以看到依然是CancelledError错误，且协程a未执行完成，正确的用法是这样的：

可以看到虽然结果是一个CancelledError错误，但是看输出能确认协程实际上是执行了的。所以正确步骤是：

1. 先创建 GatheringFuture对象ts

2. 取消任务

3. await ts

   

asynccontextmanager

如果你了解Python，之前可能听过或者用过contextmanager ，一个上下文管理器。通过一个计时的例子就理解它的作用:

timed函数用了contextmanager装饰器，把协程的运行结果yield出来，执行结束后还计算了耗时：

大家先体会一下。在Python 3.7添加了asynccontextmanager，也就是异步版本的contextmanager，适合异步函数的执行，上例可以这么改：

async版本的with要用 asyncwith ，另外要注意 yieldawaitfunc() 这句，相当于yield + awaitfunc()

PS: contextmanager和asynccontextmanager最好的理解方法是去看源码注释，可以看延伸阅读链接2，另外延伸阅读链接3包含的PR中相关的测试代码部分也能帮助你理解

代码目录

本文代码可以在 mp项目(https://github.com/dongweiming/mp/tree/master/2019-05-24) 找到

延伸阅读

1. https://github.com/python/cpython/blob/3.7/Lib/asyncio/tasks.py#L574

2. https://github.com/python/cpython/blob/3.7/Lib/contextlib.py#L243

3. https://github.com/python/cpython/pull/360/