Pandas DataFrame 高效批量更新指定位置值教程-Python教程-PHP中文网

Pandas DataFrame 高效批量更新指定位置值教程

霞舞

发布： 2025-12-04 13:38:22

原创

881人浏览过

Pandas DataFrame 高效批量更新指定位置值教程

本教程旨在解决pandas dataframe中批量更新特定单元格值时效率低下的问题。通过介绍迭代更新的性能瓶颈，并提出一种利用dataframe底层numpy数组和标签到位置映射的优化方法，实现对指定行/列标签对的快速批量赋值，显著提升大数据量操作的执行速度。

问题描述与传统方法的局限性

在处理Pandas DataFrame时，我们经常需要更新多个特定位置的单元格值。一种直观但效率低下的方法是使用循环逐个设置：

import pandas as pd
import numpy as np

# 模拟一个大型DataFrame
column_names = np.array(range(100))
np.random.shuffle(column_names)
row_names = np.array(range(100))
np.random.shuffle(row_names)
df = pd.DataFrame(columns=column_names, index=row_names)

# 待设置的行和列标签（这里使用整数作为标签）
ix = np.random.randint(0, 100, 1000)
iy = np.random.randint(0, 100, 1000)

# 迭代更新，耗时较长
# for k in range(len(ix)):
#     df.loc[ix[k], iy[k]] = 1

登录后复制

对于大型数据集和大量的更新操作，上述循环方式会非常慢。例如，在包含100x100个元素且更新1000个位置的场景下，循环可能需要0.35秒。

另一种尝试是利用Pandas的 .loc 索引器进行批量赋值：

# 尝试使用 df.loc[ix, iy] = 1
# df.loc[ix, iy] = 1

登录后复制

虽然这种方法速度极快（可能仅需0.035秒），但它并不能实现我们期望的“一对一”更新。df.loc[ix, iy] = 1 会将 ix 中所有行标签与 iy 中所有列标签的笛卡尔积所对应的所有单元格都设置为1，而不是仅仅更新 (ix[k], iy[k]) 这样的对应位置。因此，我们需要一种既快速又能准确更新指定位置的方法。

高效解决方案：利用NumPy数组进行矢量化更新

Pandas DataFrame的底层数据结构实际上是NumPy数组。直接操作NumPy数组通常比通过Pandas的标签索引器进行操作更快，因为它避免了额外的开销，并能充分利用NumPy的矢量化特性。然而，DataFrame通常使用非整数的标签（如字符串）作为行索引和列名，而NumPy数组只能通过整数位置进行索引。因此，关键在于将DataFrame的标签转换为对应的整数位置。

核心思想：

获取DataFrame行索引和列名的整数位置映射。
将需要更新的行标签和列标签列表转换为其对应的整数位置列表。
使用这些整数位置直接对DataFrame的底层NumPy数组进行批量赋值。

实现步骤

1. 构建标签到位置的映射 首先，我们需要创建两个 pd.Series，分别将DataFrame的行索引和列名映射到它们的整数位置。

# 假设df是我们的DataFrame
# cols = pd.Series(range(df.shape[1]), index=df.columns)
# idx = pd.Series(range(df.shape[0]), index=df.index)

登录后复制

这里，df.shape[1] 是列的数量，df.shape[0] 是行的数量。

SuperDesign

开源的UI设计AI智能体

216

查看详情

2. 获取目标标签对应的位置索引 接下来，使用 reindex 方法将我们想要更新的 ix（行标签列表）和 iy（列标签列表）转换为它们在DataFrame中的实际整数位置。

# ix_pos = idx.reindex(ix)
# iy_pos = cols.reindex(iy)

登录后复制

idx.reindex(ix) 会查找 ix 中每个标签在 idx Series中的值（即其对应的整数位置）。iy_pos 同理。

3. 直接更新底层NumPy数组 最后，利用得到的整数位置索引，直接对DataFrame的 .values 属性（即底层NumPy数组）进行赋值。

# df.values[ix_pos, iy_pos] = 1

登录后复制

这种高级索引操作在NumPy中是高度优化的，可以实现高效的批量更新。

示例代码

以下是一个完整的示例，演示如何高效地批量设置DataFrame中指定位置的值：

import pandas as pd
import numpy as np

# 1. 初始DataFrame（使用非整数标签以便更好地说明）
df = pd.DataFrame(index=['a', 'b', 'c', 'd', 'e'],
                  columns=['A', 'B', 'C', 'D', 'E'])

print("原始DataFrame:")
print(df)
print("-" * 30)

# 2. 定义需要更新的行标签和列标签列表
# 例如，我们想设置 (a, A), (b, C), (c, A), (d, E) 这几个位置的值为1
ix_labels = ['a', 'b', 'c', 'd']
iy_labels = ['A', 'C', 'A', 'E']

# 3. 构建标签到位置的映射
# map DataFrame's column labels to their integer positions
cols_map = pd.Series(range(df.shape[1]), index=df.columns)
# map DataFrame's index labels to their integer positions
idx_map = pd.Series(range(df.shape[0]), index=df.index)

# 4. 获取目标标签对应的位置索引
# Convert the list of row labels to their integer positions
target_row_pos = idx_map.reindex(ix_labels)
# Convert the list of column labels to their integer positions
target_col_pos = cols_map.reindex(iy_labels)

print("目标行标签对应的整数位置:", target_row_pos.tolist())
print("目标列标签对应的整数位置:", target_col_pos.tolist())
print("-" * 30)

# 5. 直接更新底层NumPy数组
# 使用NumPy的高级索引功能，对底层数组进行赋值
df.values[target_row_pos, target_col_pos] = 1

print("更新后的DataFrame:")
print(df)

登录后复制

输出结果:

原始DataFrame:
     A    B    C    D    E
a  NaN  NaN  NaN  NaN  NaN
b  NaN  NaN  NaN  NaN  NaN
c  NaN  NaN  NaN  NaN  NaN
d  NaN  NaN  NaN  NaN  NaN
e  NaN  NaN  NaN  NaN  NaN
------------------------------
目标行标签对应的整数位置: [0, 1, 2, 3]
目标列标签对应的整数位置: [0, 2, 0, 4]
------------------------------
更新后的DataFrame:
     A    B    C    D    E
a    1  NaN  NaN  NaN  NaN
b  NaN  NaN    1  NaN  NaN
c    1  NaN  NaN  NaN  NaN
d  NaN  NaN  NaN  NaN    1
e  NaN  NaN  NaN  NaN  NaN

登录后复制

性能优势分析

通过直接操作底层NumPy数组，我们充分利用了NumPy的C语言实现和矢量化操作，避免了Python循环的开销以及Pandas高级索引器的额外逻辑判断。相比于逐个元素迭代赋值，这种方法在处理大量更新时，通常能带来数量级的性能提升（例如，从0.35秒降至0.035秒，提速10倍）。这对于大数据分析和处理至关重要。

注意事项与最佳实践

标签一致性： 确保 ix_labels 和 iy_labels 列表的长度相同，并且它们之间的元素是一一对应的关系，即 (ix_labels[k], iy_labels[k]) 构成一个需要更新的单元格。
标签存在性： ix_labels 中的所有标签必须存在于DataFrame的行索引中，iy_labels 中的所有标签必须存在于DataFrame的列名中。如果存在不存在的标签，reindex 会返回 NaN，这在后续的NumPy索引中会导致错误。在实际应用中，可能需要预先检查标签的有效性。
直接修改： .values 返回的是底层NumPy数组的视图（在大多数情况下），直接对其修改会影响原始DataFrame。这是我们期望的行为，但需要在使用时明确这一点。
数据类型： 这种方法适用于更新单一类型的值。如果需要更新不同数据类型的值，Pandas会自动进行类型推断，但直接操作NumPy数组时，可能需要注意其统一的数据类型。

总结

当需要在Pandas DataFrame中高效地批量更新指定（行标签，列标签）对的单元格时，应避免使用Python循环。通过将DataFrame的行/列标签映射到其整数位置，然后利用这些位置直接对DataFrame的底层NumPy数组进行矢量化赋值，可以显著提升性能。这种方法是处理大数据量更新场景下的一个强大且高效的解决方案。

以上就是Pandas DataFrame 高效批量更新指定位置值教程的详细内容，更多请关注php中文网其它相关文章！