itertools.product 如何高效生成笛卡尔积但避免内存爆炸

itertools.product 会吃光内存当笛卡尔积项数过大且被强制转为容器或嵌套展开时；例如 range(1000) 四重积达 1e12 项，即使每项 100 字节也需 100tb 内存。

什么时候 itertools.product 会吃光内存？

itertools.product 本身是惰性生成器，不预分配结果列表，但很多人误以为“用了它就安全”——其实只要一调用 list()、tuple() 或参与 for 循环前强行转成容器，或者嵌套在另一个大循环里反复展开，内存就可能飙升。典型场景是：输入迭代器本身不耗内存（如 range(1000)），但笛卡尔积总项数达 1000**4 == 1e12 级别，哪怕每项只占 100 字节，也需 100TB 内存。

关键不是函数本身，而是你如何消费它。

OneAI

将生成式AI技术打包为API，整合到企业产品和服务中

下载

用 itertools.product 但不落地的 3 种实操方式

• 直接用于单次流式处理：

  for combo in itertools.product(range(100), range(100), range(100)):  
    process(combo)  # 不存、不索引、不统计长度

  这样每轮只保留一个元组，GC 可及时回收。

• 加条件提前中断：用 break 或 return 在满足业务逻辑时立刻退出，避免遍历全部组合。例如搜索第一个满足约束的解：

  for a, b, c in itertools.product(*lists):<br />
  if constraint(a, b, c):<br />
  print(a, b, c)<br />
  break

• 分块处理 + 手动控制步长：不用全量生成，改用 itertools.islice 切片取一批处理：

  from itertools import product, islice<br />
  gen = product(range(1000), range(1000))<br />
  batch = list(islice(gen, 10000))  # 每次只拿 1 万条<br />
  while batch:<br />
  handle_batch(batch)<br />
  batch = list(islice(gen, 10000))

  
  注意：这里 islice 不重置原生成器，所以能连续分页。

替代方案：当笛卡尔积维度高但稀疏时，考虑 yield 自定义生成

如果实际只需要满足某类约束的子集（比如 a + b + c ），硬跑 <code>product 再过滤是低效的——99% 的组合被丢弃，CPU 白算，缓存还污染。此时手写生成器更可控：

def sparse_triplets(max_val):<br />
for a in range(max_val):<br />
for b in range(max_val - a):<br />
for c in range(max_val - a - b):<br />
yield (a, b, c)

容易被忽略的坑：参数里混入已展开的列表

itertools.product 的每个参数应尽量是轻量迭代器。常见错误是传入 list 或 numpy.array：

# 危险！data_list 已加载进内存，且 product 内部仍要迭代它<br />
data_list = [x for x in huge_file_reader()]  # 此刻内存已爆<br />
for pair in product(data_list, data_list): ...

# 改用生成器函数或 map<br />
def lazy_reader():<br />
with open("big.txt") as f:<br />
for line in f:<br />
yield line.strip()  </p><p>for pair in product(lazy_reader(), lazy_reader()): ...  # 注意：两个独立生成器

真正卡住性能的往往不是算法复杂度，而是你以为“只是个生成器”就放松了对数据源头和消费方式的控制。