协程是一种用户态轻量级线程,允许单线程中实现并发。1.async声明协程函数,返回可被事件循环调度的协程对象,并标记为co_coroutine。2.await用于挂起当前协程,调用__await__或__iter__方法等待结果,期间保存状态并交出控制权。3.事件循环负责调度协程,通过轮询和激活机制管理执行流程,使用select模块监听事件。4.调试协程可通过日志、pdb或专用工具如aiodebug辅助。5.协程适用于io密集型任务,切换开销小且无需锁;多线程适合cpu密集型任务,能利用多核但开销大且需处理竞态条件。

协程,简单来说,就是一种用户态的轻量级线程,它允许你在单线程中实现并发,而无需像传统线程那样进行上下文切换的开销。理解Python协程的运行机制,关键在于理解
async和
await这两个关键字在源码层面的作用。

理解
async和
await,需要深入到Python解释器的内部,特别是事件循环和生成器的状态管理。
async声明一个函数为协程函数,而
await则用于挂起当前协程,等待另一个协程完成。这种挂起和恢复操作,依赖于事件循环的调度。
用Python源码理解协程运行机制,需要关注async和await的实现,以及事件循环的运作方式。
立即学习“Python免费学习笔记(深入)”;

async
关键字究竟做了什么?
async关键字的作用远不止表面上声明一个函数为协程那么简单。实际上,它会改变函数的行为,使其返回一个协程对象。这个协程对象是一个生成器,但它不是普通的生成器,而是一个可以被事件循环调度的特殊生成器。
在Python源码中,
async关键字的处理涉及到对函数对象
__code__属性的修改,以及对函数返回值的包装。具体来说,
async函数会被标记为CO_COROUTINE,这个标记告诉解释器这是一个协程函数。

要理解得更深入,可以看看
async def对应的字节码。例如:
import dis
async def my_coroutine():
await asyncio.sleep(1)
return "Done"
dis.dis(my_coroutine)输出的字节码会包含
GET_AWAITABLE和
GET_AITER等指令,这些指令是协程机制的关键。
await
背后的魔法
await关键字是协程的核心,它实现了协程的挂起和恢复。当一个协程遇到
await表达式时,它会暂停执行,并将控制权交还给事件循环。事件循环会选择另一个可以执行的协程继续执行。当
await等待的协程完成时,事件循环会重新激活之前的协程,让它从暂停的地方继续执行。
await表达式实际上调用了
__await__方法,如果对象没有实现
__await__方法,会尝试调用
__iter__方法。这使得
await可以用于等待协程、Future对象,甚至是实现了迭代器的对象。
在源码层面,
await涉及到对生成器状态的保存和恢复。当协程被挂起时,它的状态会被保存起来,包括当前的执行位置、局部变量等。当协程被重新激活时,它的状态会被恢复,就像什么都没发生过一样。
事件循环:协程的调度中心
事件循环是协程的调度中心,它负责管理所有的协程,并在合适的时机激活它们。事件循环会不断地轮询所有的协程,检查它们是否已经准备好执行。如果一个协程已经准备好执行,事件循环就会激活它,让它执行一段时间。当协程遇到
await表达式时,它会被挂起,事件循环会选择另一个可以执行的协程继续执行。
Python的
asyncio库提供了事件循环的实现。可以通过
asyncio.get_event_loop()获取当前的事件循环,并使用
loop.run_until_complete()运行协程。
要深入理解事件循环,可以阅读
asyncio库的源码,特别是
_SelectorEventLoop类的实现。这个类使用了
select模块来监听文件描述符上的事件,并在事件发生时激活相应的协程。
如何调试协程?
调试协程可能会比较棘手,因为协程的执行是异步的,很难跟踪它的执行流程。可以使用Python的
pdb调试器,或者使用一些专门的协程调试工具,例如
aiodebug。
另外,可以使用日志来记录协程的执行过程。在协程的关键位置添加日志语句,可以帮助你了解协程的执行流程,并找到问题所在。
例如:
import asyncio
import logging
logging.basicConfig(level=logging.DEBUG)
async def my_coroutine(i):
logging.debug(f"Coroutine {i}: Starting")
await asyncio.sleep(1)
logging.debug(f"Coroutine {i}: Finishing")
return f"Coroutine {i} Done"
async def main():
results = await asyncio.gather(*(my_coroutine(i) for i in range(3)))
print(results)
if __name__ == "__main__":
asyncio.run(main())协程与多线程的区别?
协程和多线程都可以实现并发,但它们之间有很大的区别。多线程是真正的并行,它可以利用多核CPU的优势,同时执行多个线程。而协程是单线程的并发,它通过时间片轮转的方式,在不同的协程之间切换执行。
协程的优势在于它的开销非常小,创建和切换协程的成本远低于创建和切换线程的成本。另外,协程不需要锁机制,因为它们是在同一个线程中执行的,不会出现竞态条件。
多线程的优势在于它可以利用多核CPU的优势,真正地并行执行多个任务。但多线程的开销比较大,创建和切换线程的成本很高。另外,多线程需要锁机制来避免竞态条件,这会增加程序的复杂性。
选择协程还是多线程,取决于具体的应用场景。如果任务是IO密集型的,例如网络请求、文件读写等,那么协程是一个不错的选择。如果任务是CPU密集型的,例如计算、图像处理等,那么使用多线程可能更合适。










