理解 Python asyncio 中的并发与顺序执行
python的asyncio模块为编写并发代码提供了强大的支持，特别适用于i/o密集型任务，如网络请求、数据库操作等。通过使用async/await语法，开发者可以编写出看似同步但实际是非阻塞的代码，从而提高程序的效率和响应速度。然而，在使用asyncio时，一个常见的误区是对任务执行顺序的理解，尤其是在涉及asyncio.gather()时。
asyncio.gather()：并发执行与结果收集
asyncio.gather()是一个非常实用的工具，它允许我们同时运行多个协程（coroutine）或Future，并等待它们全部完成。它的主要作用是并发执行任务，并将所有任务的结果以它们被传递给gather时的顺序返回。
考虑以下场景：你需要从多个网站抓取数据。如果这些抓取任务彼此独立，即一个网站的数据抓取不依赖于另一个网站的结果，那么使用asyncio.gather()是提高效率的理想选择。
import asyncio
async def fetch_data(url):
"""模拟从指定URL抓取数据，耗时2秒"""
await asyncio.sleep(2)
print(f"数据已从 {url} 抓取")
return f"数据来自 {url}"
async def main_concurrent():
websites = ["site1.com", "site2.com", "site3.com"]
# 使用 asyncio.gather() 并发执行所有抓取任务
print("开始并发抓取...")
tasks = [fetch_data(url) for url in websites]
results = await asyncio.gather(*tasks) # 等待所有任务完成
print("所有并发抓取任务完成。")
print(f"结果顺序（与输入顺序一致）: {results}")
if __name__ == "__main__":
asyncio.run(main_concurrent())运行上述代码，你会发现输出的print消息（例如 "数据已从 site1.com 抓取"）的顺序可能是不确定的。虽然asyncio.gather()会等待所有任务完成后才继续，并且最终返回的结果列表会按照传入tasks的顺序排列，但各个任务的实际完成时间点（以及它们内部的print语句的触发时机）是不受gather控制的，它们是并发进行的。这正是asyncio实现并发的本质。
任务依赖与顺序执行的需求
然而，在某些情况下，任务之间存在严格的依赖关系。例如，你可能需要先从site1.com获取一个令牌，然后才能使用该令牌去site2.com抓取数据，接着用site2.com的数据作为输入去处理site3.com。在这种情况下，简单的并发执行会导致逻辑错误，因为后续任务可能在依赖的前置任务完成之前就开始执行。
立即学习“Python免费学习笔记（深入）”；
当对任务的完成顺序有严格要求时，asyncio.gather()就不再适用。我们需要确保一个任务完全结束后，下一个任务才能开始。
解决方案：循环逐个 await 任务
要强制实现任务的顺序执行，最直接有效的方法是避免使用asyncio.gather()，转而通过循环逐个await每个任务。这样，每次循环迭代都会等待当前任务彻底完成，然后才进入下一次迭代，启动下一个任务。
import asyncio
async def fetch_data_sequentially(url):
"""模拟从指定URL抓取数据，耗时2秒"""
print(f"正在从 {url} 抓取数据...")
await asyncio.sleep(2)
print(f"数据已从 {url} 抓取")
return f"数据来自 {url}"
async def main_sequential():
websites = ["site1.com", "site2.com", "site3.com"]
all_results = []
print("开始顺序抓取...")
for url in websites:
# 逐个await任务，确保上一个任务完成后才开始下一个
result = await fetch_data_sequentially(url)
all_results.append(result)
print("所有顺序抓取任务完成。")
print(f"结果顺序: {all_results}")
if __name__ == "__main__":
asyncio.run(main_sequential())运行上述修正后的代码，你会观察到print消息的输出严格按照websites列表中URL的顺序进行，即site1.com的数据抓取完成后，才会开始site2.com，以此类推。这正是满足了任务间依赖关系的顺序执行需求。
总结与注意事项
-
并发 vs. 顺序：
- asyncio.gather()适用于并发执行相互独立的任务，以最大化I/O效率。它不保证任务的完成顺序，但会按照输入顺序收集结果。
- 当任务之间存在严格的依赖关系，要求前一个任务完成后才能开始下一个任务时，应使用循环逐个await任务。
-
选择正确的工具：
- 如果你的任务是I/O密集型且彼此独立，目标是尽可能快地完成所有任务，那么asyncio.gather()是首选。
- 如果任务必须按照特定顺序执行，因为后续任务依赖于前一个任务的结果或状态，那么循环await是唯一的正确方式。
-
性能考量：
- 顺序执行虽然保证了顺序，但会牺牲并发带来的性能提升。如果每个任务都需要较长时间，顺序执行的总耗时将是所有任务耗时之和。
- 并发执行的总耗时理论上取决于最慢的那个任务，因为它同时运行多个任务。
理解asyncio中并发和顺序执行的本质区别，是编写高效、正确异步代码的关键。根据你的具体业务逻辑和任务间的依赖关系，选择最合适的执行策略，将有助于避免不必要的调试和程序行为异常。
