Python Asyncio: 在同步循环中高效调度与执行异步任务

本文旨在解决在python同步循环中调用异步函数时遇到的“coroutine was never awaited”警告。通过深入讲解`asyncio.task`的调度机制和`asyncio.gather`的并发执行能力，本教程将展示如何在同步上下文中正确创建、管理并等待多个异步任务完成，从而避免阻塞并充分利用异步编程的优势。

在Python中处理并发操作时，asyncio库提供了强大的异步编程框架。然而，将异步函数（协程）直接嵌入到传统的同步循环中，往往会导致意料之外的行为和警告。本教程将详细阐述这一常见问题，并提供基于asyncio.Task和asyncio.gather的专业解决方案。

问题描述：同步循环中的异步函数调用陷阱

当尝试在一个同步函数（如一个普通的for循环）内部直接调用一个异步函数时，Python解释器会发出RuntimeWarning: coroutine 'async_function' was never awaited的警告。这是因为异步函数调用会返回一个协程对象，但这个对象并未被await关键字“等待”执行，也未被事件循环调度为任务。

考虑以下示例代码：

import asyncio

async def async_function():
    """一个模拟异步操作的协程"""
    print("Executing async_function...")
    await asyncio.sleep(1)
    print("async_function finished.")

def sync_function_problem():
    """错误的同步函数，直接调用异步函数"""
    print("Starting sync_function_problem...")
    for i in range(3):
        print(f"Loop iteration {i}: Calling async_function()")
        async_function() # 这里仅仅创建了一个协程对象，但没有await它
    print("sync_function_problem finished.")

# 尝试运行，会产生警告且异步函数不会实际执行
# sync_function_problem()

运行上述sync_function_problem()会发现，async_function内部的print语句不会被执行，同时控制台会输出RuntimeWarning。这是因为async_function()的调用仅仅创建了一个协程对象，而没有将其提交给asyncio的事件循环进行调度和执行。asyncio.run()通常用于执行单个顶级协程，但它不适用于在一个同步函数内部批量调度多个协程。

立即学习“Python免费学习笔记（深入）”；

解决方案核心：asyncio.Task 与 asyncio.gather

要在一个同步循环中正确地调度和执行多个异步函数，我们需要借助asyncio提供的两个核心工具：asyncio.Task和asyncio.gather。

Fotor AI Face Generator

Fotor 平台的在线 AI 头像生成器

50

查看详情

1. asyncio.Task: asyncio.Task是asyncio中用于并发执行协程的核心机制。当一个协程被封装成一个Task时，它就被提交给了事件循环，事件循环会在适当的时机开始执行这个协程，并在其等待I/O时切换到其他任务，从而实现并发。
2. asyncio.gather: asyncio.gather是一个协程，它接受多个可等待对象（如协程或Task）作为参数，并并发地运行它们，直到所有可等待对象都完成。它返回一个包含所有结果的列表，其顺序与输入的顺序一致。

实战演练：在同步循环中调度并执行异步任务

以下是使用asyncio.Task和asyncio.gather来解决上述问题的正确方法：

import asyncio
import time

async def async_function(task_id):
    """一个模拟异步操作的协程，带有一个ID"""
    print(f"Task {task_id}: Starting...")
    await asyncio.sleep(1) # 模拟耗时I/O操作
    print(f"Task {task_id}: Finished.")
    return f"Result from Task {task_id}"

def sync_function_correct():
    """正确的同步函数，在循环中调度并等待异步任务"""
    print("Starting sync_function_correct...")

    # 1. 获取当前事件循环
    # 注意：在Python 3.7+，推荐使用asyncio.run()来启动顶层协程。
    # 如果在一个非asyncio环境（如主脚本的同步部分）中启动，get_event_loop()是必要的。
    try:
        loop = asyncio.get_running_loop()
    except RuntimeError:
        loop = asyncio.new_event_loop()
        asyncio.set_event_loop(loop)

    tasks = []
    for i in range(5): # 假设我们想并发执行5个异步任务
        # 2. 为每个异步函数创建一个Task
        # create_task()将协程包装成一个Task并将其提交给事件循环
        task = loop.create_task(async_function(i))
        tasks.append(task)
        print(f"Loop iteration {i}: Task {i} scheduled.")

    print("All tasks scheduled. Now waiting for them to complete...")

    # 3. 使用asyncio.gather等待所有Task完成
    # asyncio.gather(*tasks)创建一个新的协程，它会等待tasks列表中的所有任务完成
    # run_until_complete()会运行事件循环，直到asyncio.gather协程完成
    results = loop.run_until_complete(asyncio.gather(*tasks))

    print("All tasks completed.")
    print("Results:", results)

    # 4. 如果事件循环是由new_event_loop创建的，需要关闭
    if not loop.is_running(): # 确保只关闭自己创建的循环
         loop.close()
    print("sync_function_correct finished.")

# 运行正确的同步函数
start_time = time.time()
sync_function_correct()
end_time = time.time()
print(f"Total execution time: {end_time - start_time:.2f} seconds")

代码解析：

1. 获取事件循环: asyncio.get_event_loop()（或更现代的asyncio.get_running_loop()结合asyncio.new_event_loop()）用于获取或创建一个事件循环实例。事件循环是asyncio应用程序的核心，负责调度和执行协程。
2. 创建任务: 在循环内部，我们不再直接调用async_function()，而是使用loop.create_task(async_function(i))。这会将async_function(i)返回的协程对象包装成一个Task，并将其添加到事件循环的待执行队列中。此时，任务仅仅被“安排”了，但尚未开始执行。
3. 收集任务并等待: 循环结束后，我们得到了一个包含所有Task对象的列表tasks。为了等待所有这些任务完成，我们使用asyncio.gather(*tasks)。*tasks将列表中的所有任务作为单独的参数传递给gather。gather本身是一个协程，它会等待所有传入的任务。
4. 运行事件循环: 最后，loop.run_until_complete(asyncio.gather(*tasks))会启动事件循环。事件循环会开始执行所有已创建的任务，并在asyncio.gather返回时停止。由于asyncio.sleep(1)的存在，你会看到所有任务几乎同时开始，并在大约1秒后几乎同时完成，这正是并发执行的体现。

运行上述代码，你会发现所有任务的“Starting...”和“Finished.”消息几乎是并发出现的，总执行时间约为1秒多一点（取决于任务数量，但主要由最长的await asyncio.sleep决定），而不是每个任务1秒的总和。

关键概念与最佳实践

• 协程与任务的区别: 协程是可暂停和可恢复的函数。任务是协程的包装器，负责将其调度到事件循环中执行。当你await一个协程时，你直接等待它的完成；当你创建一个任务时，你只是告诉事件循环“请在后台运行这个协程”。
• asyncio.run() vs loop.run_until_complete():
  • asyncio.run(coro) (Python 3.7+): 这是一个高级函数，用于运行顶层协程。它会自动处理事件循环的创建、运行和关闭，是启动asyncio应用程序的推荐方式。它内部会创建一个新的事件循环，运行给定的协程，然后关闭循环。
  • loop.run_until_complete(future): 这是一个低级方法，用于在现有事件循环上运行一个可等待对象（如协程或Future）直到它完成。它不会自动创建或关闭事件循环。在同步函数中，当需要手动管理事件循环时（如在非async函数中启动asyncio操作），它非常有用。
• 并发而非并行: asyncio实现的是并发（concurrency），而非并行（parallelism）。这意味着在任何给定时刻，只有一个任务真正在CPU上执行。当一个任务遇到await表达式（如await asyncio.sleep()或等待网络I/O）时，它会暂停执行，并将控制权交还给事件循环，事件循环会选择下一个准备好运行的任务。
• 错误处理: 在实际应用中，asyncio.gather可以接受return_exceptions=True参数。如果设置为True，即使某个任务抛出异常，gather也会收集所有结果和异常，而不是立即抛出第一个异常。这对于处理可能失败的并发操作非常有用。

总结

在Python同步循环中有效管理异步函数，关键在于理解asyncio事件循环的工作原理，并正确使用asyncio.Task来调度协程，以及asyncio.gather来并发等待它们的完成。通过这种方式，我们不仅可以避免“coroutine was never awaited”警告，还能充分利用asyncio的非阻塞特性，显著提升程序的效率和响应能力。掌握这些技术是构建高性能Python异步应用的基础。

以上就是Python Asyncio: 在同步循环中高效调度与执行异步任务的详细内容，更多请关注php中文网其它相关文章！