0

0

Python列表推导式与迭代器内存行为深度解析

霞舞

霞舞

发布时间:2025-09-16 10:20:18

|

611人浏览过

|

来源于php中文网

原创

Python列表推导式与迭代器内存行为深度解析

本文深入探讨了Python中列表字面量、列表推导式与迭代器在内存管理上的行为。核心观点是,Python的非惰性求值特性导致列表推导式无论是否赋值给变量,都会先完整创建并占用内存。主要差异在于未绑定变量的列表字面量在迭代器创建后会更快地被垃圾回收,而绑定到变量的列表则在变量生命周期内保持占用。

Python的非惰性求值机制

python中,表达式的求值通常是“非惰性”的,这意味着当一个表达式被执行时,它的值会立即被完整计算出来,而不是等到需要时才计算。对于列表推导式 [expression for item in iterable] 而言,这意味着无论这个列表推导式的结果是否被赋值给一个变量,它都会先在内存中构建一个完整的列表对象及其所有元素。

考虑以下两种场景,它们在初始内存占用方面表现出高度相似性:

场景一:列表显式绑定到变量

当我们将一个列表推导式的结果赋值给一个变量时,这个列表对象及其包含的所有元素会一直存在于内存中,直到该变量被重新赋值、被删除(del)或者超出其作用域

# CODE 1: 列表显式绑定到变量
import sys

# 这一行代码会立即创建一个包含5000个整数的完整列表,并将其绑定到 my_list
my_list = [l for l in range(5000)]
print(f"列表 'my_list' 对象的内存占用 (不含元素本身): {sys.getsizeof(my_list)} 字节")
# 注意:sys.getsizeof() 返回的是列表对象本身的内存占用,
# 不包括其内部5000个整数对象的总内存占用。但重要的是,这5000个整数对象确实已被创建。

# 从已存在的列表创建一个迭代器
my_iter1 = iter(my_list)
print(f"迭代器 'my_iter1' 对象的内存占用: {sys.getsizeof(my_iter1)} 字节 (通常较小)")

# 在此场景下,my_list 及其引用的所有整数对象会持续占用内存,
# 直到 my_list 被垃圾回收或程序结束。

在这个例子中,[l for l in range(5000)] 会创建一个包含5000个整数的列表。即使我们随后从它创建了一个迭代器,原始的 my_list 及其所有元素仍然存在于内存中,并且可以通过 my_list 变量访问。

场景二:列表字面量直接用于迭代器创建

当列表推导式的结果不被显式赋值给任何变量,而是直接作为参数传递给一个函数(如 iter())时,Python同样会先完整地创建这个列表。

立即学习Python免费学习笔记(深入)”;

# CODE 2: 列表字面量直接用于迭代器创建
import sys

# 尽管没有显式变量接收,[i for i in range(5000)] 仍然会立即创建一个
# 包含5000个整数的完整列表。
# 然后,iter() 函数会接收这个临时创建的列表作为参数。
my_iter2 = iter([i for i in range(5000)])
print(f"迭代器 'my_iter2' 对象的内存占用: {sys.getsizeof(my_iter2)} 字节 (通常较小)")

# 关键点:用于创建迭代器的匿名列表对象,在 iter() 函数返回后,
# 如果没有其他引用,会立即成为垃圾回收的候选。

在这个场景中,[i for i in range(5000)] 同样会创建一个包含5000个整数的列表。iter() 函数接收这个临时列表,并返回一个针对它的迭代器。一旦 iter() 函数执行完毕,并且没有其他地方引用这个临时创建的列表对象,Python的垃圾回收机制就可以回收这个列表及其元素的内存。

内存占用与生命周期的核心差异

通过上述分析,我们可以得出以下结论:

  1. 初始内存占用: 在两种场景下,表达式 [l for l in range(5000)] 或 [i for i in range(5000)] 都会在执行时创建并占用大致相同的内存空间,因为Python会完整地构建这个列表。因此,从“是否创建了大量数据”的角度看,CODE 1 和 CODE 2 在列表创建阶段是相似的。
  2. 内存生命周期: 核心差异在于列表对象在内存中的生命周期。
    • 场景一 中,列表被绑定到 my_list 变量,其内存会持续占用,直到 my_list 变量的生命周期结束。
    • 场景二 中,列表是一个临时的、匿名的对象。它作为 iter() 函数的参数被创建和使用,一旦 iter() 函数返回,并且没有其他引用指向这个列表对象,它就会立即成为垃圾回收的候选。这意味着它的内存占用是短暂的。

简而言之,func(expression) 和 variable = expression; func(variable) 这两种模式,在Python的非惰性求值机制下,expression 都需要被完整计算并分配内存。唯一的区别在于,前者的 expression 结果在 func() 返回后,如果没有被 func() 内部保存引用,其内存会立即变得可回收;而后者则会因 variable 的存在而延长内存的生命周期。

独响
独响

一个轻笔记+角色扮演的app

下载

优化与注意事项

对于处理大型数据集或追求内存效率的应用,直接创建完整的列表往往不是最佳选择。

1. 使用生成器表达式优化内存

如果你的目标是创建一个迭代器,并且不需要同时在内存中保留整个列表,那么应该使用生成器表达式而不是列表推导式。生成器表达式使用圆括号 () 而非方括号 [],它不会一次性构建所有元素,而是按需生成:

# 使用生成器表达式
import sys

# my_generator_iter 是一个生成器对象,它不会立即创建所有5000个整数
my_generator_iter = (i for i in range(5000))
print(f"生成器对象 'my_generator_iter' 的内存占用: {sys.getsizeof(my_generator_iter)} 字节 (非常小)")

# 只有在迭代时,元素才会被逐个生成并占用内存
for item in my_generator_iter:
    # 处理 item
    pass

生成器表达式的优势在于,它只在需要时才计算和生成下一个元素,极大地减少了内存的峰值占用。

2. 理解 iter() 函数的职责

iter() 函数的作用是获取一个对象的迭代器。它本身并不负责创建数据,而是从一个已存在的可迭代对象中获取一个迭代器。因此,如果你传递给 iter() 的是一个大型列表,那么这个大型列表的创建和内存占用已经发生,iter() 只是在此基础上提供了一种遍历机制。

3. Python的垃圾回收机制

Python使用引用计数作为主要的垃圾回收机制。当一个对象的引用计数变为0时,它就成为垃圾回收的候选。对于循环引用,Python还会使用标记-清除(mark-and-sweep)算法进行处理。理解这些机制有助于更好地管理内存。

总结

Python在处理列表推导式时,无论其结果是否被赋值给变量,都会先进行完整的求值,并在内存中构建出完整的列表对象。因此,iter([i for i in range(5000)]) 和 my_list = [l for l in range(5000)]; iter(my_list) 在初始的内存分配上是相似的,因为两者都创建了包含5000个整数的列表。它们的主要区别在于这个列表对象的生命周期:未绑定到变量的列表字面量在完成其职责后(如被 iter() 使用后)会更快地成为垃圾回收的候选,而绑定到变量的列表则会持续占用内存直到变量的生命周期结束。

为了有效地管理内存,特别是在处理大量数据时,推荐使用生成器表达式 (expression for item in iterable) 来创建迭代器,以避免一次性将所有数据加载到内存中。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

778

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

685

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

769

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

739

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1445

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

571

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

580

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

752

2023.08.11

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

23

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 21.8万人学习

Django 教程
Django 教程

共28课时 | 3.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号