0

0

Python源码中yield关键词是如何工作的 探索生成器的底层实现

爱谁谁

爱谁谁

发布时间:2025-08-03 13:40:02

|

574人浏览过

|

来源于php中文网

原创

yield 关键词使函数变为生成器,返回生成器对象而非立即执行;2. 每次调用next()时从上次暂停处恢复执行并记住局部变量和指令位置;3. python通过pygenobject和pyframeobject在c层保存/恢复状态实现暂停与恢复;4. yield from委托子生成器,自动转发next/send/throw/close并捕获返回值,简化协作。这使得生成器具备记忆能力、低内存开销及高效协同特性,远超普通函数的一次性执行模式。

Python源码中yield关键词是如何工作的 探索生成器的底层实现

yield
关键词在 Python 源码层面,实际上是将一个普通的函数“变身”为一个可以暂停和恢复执行的特殊迭代器——也就是我们常说的生成器。它工作的核心机制在于,当函数体中出现
yield
语句时,Python 解释器并不会立即执行整个函数,而是返回一个生成器对象。每当你对这个生成器对象调用
next()
方法时,函数会从上次
yield
暂停的地方继续执行,直到遇到下一个
yield
语句,再次暂停并“吐出”一个值。这种暂停-恢复的能力,是 Python 在 C 语言层面巧妙地保存和恢复函数执行状态(包括局部变量、指令指针、甚至整个栈帧上下文)的结果。

Python源码中yield关键词是如何工作的 探索生成器的底层实现

生成器在底层,说白了,就是 Python 提供的一种高效、内存友好的迭代方式。它不像列表那样一次性把所有数据都加载到内存里,而是按需生成数据。这对于处理大量数据流、无限序列或者需要进行复杂计算但又不想一次性占用太多资源的情况,简直是神来之笔。

生成器与普通函数有何本质区别?

在我看来,生成器和普通函数最根本的区别在于它们的“生命周期”和“记忆能力”。普通函数一旦执行完毕,它的所有局部变量、执行上下文就都销毁了,下次再调用,一切从头开始。这就像你走进一个房间,做完一件事就出来了,下次再进去,你还得从门口开始。

立即学习Python免费学习笔记(深入)”;

Python源码中yield关键词是如何工作的 探索生成器的底层实现

但生成器不一样。当一个包含

yield
的函数被调用时,它不会立即执行函数体,而是返回一个生成器对象。这个对象,你可以把它想象成一个“被冻结的函数执行现场”。每次你对它调用
next()
(或者通过
for
循环隐式调用),它就像被“解冻”了一样,从上次
yield
暂停的地方继续执行。更厉害的是,它不仅能记住自己停在了哪里(指令指针),还能记住所有局部变量的当前值。这就像你走进房间,做到一半被叫出去了,但你把所有工具和做到一半的活儿都留在原地,下次回来可以直接从上次离开的地方继续。这种“记忆”和“暂停/恢复”的能力,是普通函数所不具备的,也是
yield
魔法的核心。

从内存角度看,普通函数往往需要一次性计算并返回所有结果(比如一个大列表),这可能导致内存爆炸。生成器则不然,它每次只生成一个值,用完就丢,极大地降低了内存占用,尤其适合处理无限序列或海量数据。

Python源码中yield关键词是如何工作的 探索生成器的底层实现

Python解释器如何管理生成器的内部状态?

要理解 Python 解释器是如何管理生成器内部状态的,我们需要稍微深入到 CPython 的实现细节。这背后主要涉及两个关键的 C 结构体:

PyGenObject
PyFrameObject

当你调用一个生成器函数时,Python 解释器并不会执行函数体内的代码,而是立即创建一个

PyGenObject
实例。这个
PyGenObject
内部有一个非常重要的字段,通常是一个指向
PyFrameObject
的指针。
PyFrameObject
就是 Python 运行时用来表示一个函数调用栈帧的结构,它包含了函数的所有运行时信息,比如局部变量、参数、代码对象、以及最重要的——当前执行到的字节码指令位置(通常由
f_lasti
字段表示)。

初次创建

PyGenObject
时,它内部的
PyFrameObject
只是一个骨架,还没有真正被激活执行。当第一次调用生成器的
next()
方法时,解释器会激活这个
PyFrameObject
,将其推入 C 语言的调用栈,然后开始执行生成器函数体内的字节码。

PPT.AI
PPT.AI

AI PPT制作工具

下载

执行过程中,一旦遇到

yield
语句,解释器会做几件事:

  1. 它会记录下当前
    PyFrameObject
    的执行状态,特别是
    f_lasti
    (下一条要执行的指令的偏移量)以及所有局部变量的当前值。
  2. 然后,它会将这个
    PyFrameObject
    从 C 语言的调用栈中“弹出”,但并不会销毁它,而是将其继续保留在
    PyGenObject
    内部。
  3. 最后,它会将
    yield
    后面的值作为
    next()
    方法的返回值抛出。

当再次调用

next()
时,解释器会从
PyGenObject
中取出之前保存的
PyFrameObject
,根据
f_lasti
记录的偏移量,直接跳转到上次暂停的地方,并恢复所有局部变量的值,然后继续执行。这个过程会一直重复,直到生成器函数执行完毕(或者遇到一个不带值的
return
语句),这时解释器会抛出
StopIteration
异常,表示迭代结束。

这种设计非常巧妙,它利用了现有的栈帧机制,但又通过

PyGenObject
实现了栈帧的“冻结”和“解冻”,从而实现了函数的暂停和恢复。

yield from 语句如何提升生成器协同工作的效率?

yield from
语句,在我看来,是 Python 3.3 引入的一个语法糖,但它远不止是糖那么简单,它为生成器之间的协作提供了一种优雅而强大的机制。它主要用于委托子生成器,将迭代器的大部分操作(
next()
send()
throw()
close()
)直接转发给子生成器处理,直到子生成器耗尽或返回一个值。

yield from
出现之前,如果你想在一个生成器里迭代另一个生成器,你可能需要写这样的代码:

def sub_generator():
    yield 1
    yield 2
    return "Sub done" # 返回值在老方法中很难直接获取

def main_generator_old():
    for value in sub_generator():
        yield value
    # 如何获取 sub_generator 的返回值?需要额外的try-except StopIteration逻辑

这不仅代码冗余,而且更重要的是,子生成器的返回值(通过

return
语句返回的值)在外部是很难直接获取的,你必须捕获
StopIteration
异常才能拿到。此外,
send()
throw()
close()
等方法也需要手动转发,非常麻烦。

yield from
彻底改变了这一切。它提供了一种透明的委托机制:

def sub_generator():
    yield 1
    yield 2
    return "Sub done" # 这个返回值会被 yield from 捕获

def main_generator_new():
    result = yield from sub_generator() # 直接委托给 sub_generator
    print(f"Sub generator finished with: {result}")
    yield 3

gen = main_generator_new()
print(next(gen)) # 输出 1
print(next(gen)) # 输出 2
print(next(gen)) # 输出 "Sub generator finished with: Sub done",然后输出 3

yield from
的核心在于它建立了一个双向通道:

  1. 数据流向: 子生成器
    yield
    出来的值,会直接传递给委托生成器的调用者。
  2. 控制流向: 委托生成器的调用者通过
    next()
    send()
    throw()
    close()
    等方法发送给委托生成器的值或异常,会直接转发给子生成器。
  3. 返回值捕获: 当子生成器通过
    return
    语句返回一个值时,这个值会被
    yield from
    表达式捕获,成为
    yield from
    表达式的求值结果。

这种直接委托机制,极大地简化了复杂生成器链的编写,使得代码更加清晰、易读。它不仅解决了返回值的问题,还自动处理了

StopIteration
异常的传播,以及
send()
throw()
方法的转发,让多个生成器之间的协同工作变得如同调用普通函数一样自然。这在异步编程(如
asyncio
中的
async
/
await
,它们在底层就大量依赖
yield from
的机制)中尤为关键,因为它为协程的嵌套和组合提供了坚实的基础。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

490

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

202

2025.07.04

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

1

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

41

2026.03.12

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

171

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

50

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

90

2026.03.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号