numpy ndarray 比 python 列表快,因其底层 c 实现、内存连续、无类型检查开销,且运算批量执行;列表是 pyobject* 指针数组,每次操作需查类型、调方法、分配新对象。

NumPy 的 ndarray 为什么比 Python 列表快?
因为底层用 C 实现,内存连续、无类型检查开销,且运算直接在预分配的缓冲区上批量执行。Python 列表是对象指针数组,每次加法都要查类型、调方法、分配新对象。
- 列表
[1, 2, 3]存的是三个PyObject*指针,每个整数都是独立对象 -
np.array([1, 2, 3])是一块连续内存,按int64原生格式存值 -
+对列表是拼接(生成新列表),对ndarray是逐元素加法(in-place 或新缓冲区)
哪些操作能真正触发向量化?
只有 NumPy 自带的 ufunc(universal function)或其组合才自动向量化;手写的 for 循环、map()、列表推导式全都不算。
- ✅
np.sin(arr)、arr * 2、arr > 0.5—— 真向量化 - ❌
[f(x) for x in arr]、list(map(np.sqrt, arr))—— 仍是 Python 层循环 - ⚠️
np.vectorize(f)只是语法糖,底层还是循环,别当真向量
广播(broadcasting)不报错,但容易悄悄变慢
广播本身不引入额外计算,但若触发隐式复制(如 (1000, 1) 和 (1, 2000) 相加),会临时分配 (1000, 2000) 大小的内存,OOM 或卡顿就来了。
- 检查形状:用
arr.shape确认是否真“免复制” - 避免
arr[:, np.newaxis] + other_arr[np.newaxis, :]这类显式升维再广播,改用np.outer()或einsum - 小数组广播没问题,大数组建议先
reshape再运算,别依赖自动广播猜意图
为什么 np.where() 比布尔索引快?
不是绝对更快,而是更可控——布尔索引会先生成完整 bool 数组(占内存),而 np.where(condition, a, b) 可以流式计算,尤其配合 out= 参数时能复用内存。
立即学习“Python免费学习笔记(深入)”;
- ❌
arr[arr > 0.5] = 1:先建一个可能很大的bool数组,再索引赋值 - ✅
np.where(arr > 0.5, 1, arr, out=arr):条件判断和写入一步到位,无中间bool缓冲 - 注意:
np.where三参数模式返回新数组,除非显式传out=,否则没省内存
实际写的时候,最常被忽略的是:你以为在向量化,其实只是把 for 换成了 np.vectorize,或者靠广播硬撑大维度却没看内存占用。向量化真正的门槛不在写法,而在能不能把逻辑重构成 ufunc 友好的形式。










