本教程详细介绍了如何在pandas dataframe中将包含numpy数组的列（如键和值）高效地展开为新的独立列。文章涵盖了两种主要场景：当键在所有行中保持一致时，以及当键在不同行中可能不一致时，并提供了相应的python代码示例和解释，旨在帮助用户灵活处理复杂的数据结构转换。
在数据分析和处理过程中，我们经常会遇到DataFrame中某些列包含列表或NumPy数组的情况。当这些数组代表着一组键值对，并且我们希望将这些键作为新的列名，将对应的值作为新的列数据时，就需要进行数据结构的转换。本教程将详细讲解如何使用Pandas高效地实现这一目标。
首先，我们创建一个示例DataFrame，它包含两列常规数据（'col 1', 'col 2'）以及两列NumPy数组（'keys', 'values'）。
import pandas as pd
import numpy as np
source_df = pd.DataFrame(
[
['data_A1', 'data_B1', np.array(['key1', 'key2', 'key3']), np.array(['value1a', 'value2a', 'value3a'])],
['data_A2', 'data_B2', np.array(['key1', 'key2', 'key3']), np.array(['value1b', 'value2b', 'value3b'])]
],
columns=['col 1', 'col 2', 'keys', 'values']
)
print("原始DataFrame:")
print(source_df)输出的 source_df 如下所示：
col 1 col 2 keys values 0 data_A1 data_B1 [key1, key2, key3] [value1a, value2a, value3a] 1 data_A2 data_B2 [key1, key2, key3] [value1b, value2b, value3b]
我们的目标是将 keys 列中的元素作为新的列名，将 values 列中的对应元素作为这些新列的值，同时保留 col 1 和 col 2。
场景一：键（keys）在所有行中一致
当DataFrame中的 keys 列在所有行中都包含相同的NumPy数组（即所有行的键集合完全相同且顺序一致）时，处理起来相对简单和高效。
方法一：使用 drop 和 join
这种方法首先将原始DataFrame中的 keys 和 values 列删除，然后利用 values 列的数据和 keys 列的第一个元素的键来构建一个新的DataFrame，最后将新DataFrame与原始DataFrame的剩余部分进行连接。
# 复制一份DataFrame以演示不同的方法
df_consistent_keys = source_df.copy()
# 1. 移除原始的 'keys' 和 'values' 列
# 2. 使用 'values' 列的数据创建新的DataFrame，并以第一行的 'keys' 作为列名
# 3. 将新创建的DataFrame与原始DataFrame的剩余部分进行连接
result_df_join = (df_consistent_keys.drop(columns=['keys', 'values'])
.join(pd.DataFrame(df_consistent_keys['values'].tolist(),
columns=df_consistent_keys['keys'].iloc[0]))
)
print("\n场景一 - 方法一 (使用join):")
print(result_df_join)输出结果：
场景一 - 方法一 (使用join):
col 1 col 2 key1 key2 key3
0 data_A1 data_B1 value1a value2a value3a
1 data_A2 data_B2 value1b value2b value3b解释：
- df_consistent_keys.drop(columns=['keys', 'values'])：创建了一个不包含 keys 和 values 列的DataFrame副本。
- df_consistent_keys['values'].tolist()：将 values 列中的NumPy数组转换为Python列表的列表，这是 pd.DataFrame 构造函数能够直接处理的格式。
- df_consistent_keys['keys'].iloc[0]：由于键在所有行中都是一致的，我们可以安全地取第一行的 keys 数组作为新DataFrame的列名。
- pd.DataFrame(...)：根据 values 列表和提取的列名创建了一个新的DataFrame。
- .join(...)：将新创建的DataFrame与原始DataFrame的剩余部分按索引进行连接。
方法二：原地修改DataFrame
如果希望直接在现有DataFrame上进行修改，可以使用 pop 方法来提取列并同时删除它们，然后直接赋值。
# 复制一份DataFrame以演示不同的方法
df_inplace = source_df.copy()
# 使用 pop 提取 'keys' 列，并用其第一个元素作为新列名
# 使用 pop 提取 'values' 列，并将其转换为DataFrame后赋值
df_inplace[df_inplace.pop('keys').iloc[0]] = pd.DataFrame(df_inplace.pop('values').tolist())
print("\n场景一 - 方法二 (原地修改):")
print(df_inplace)输出结果：
场景一 - 方法二 (原地修改):
col 1 col 2 key1 key2 key3
0 data_A1 data_B1 value1a value2a value3a
1 data_A2 data_B2 value1b value2b value3b解释：
- df_inplace.pop('keys')：从 df_inplace 中删除 keys 列，并返回该列的数据（一个Series）。
- df_inplace.pop('keys').iloc[0]：获取被删除的 keys 列的第一个元素（即 ['key1', 'key2', 'key3'] NumPy数组），作为新列名的列表。
- df_inplace.pop('values').tolist()：类似地，删除 values 列并将其内容转换为列表的列表。
- pd.DataFrame(...)：将 values 列表的列表转换为一个新的DataFrame。
- df_inplace[...] = ...：将这个新DataFrame直接赋值给 df_inplace，Pandas会根据新DataFrame的列名和索引将其合并到 df_inplace 中。
场景二：键（keys）在不同行中不一致
当 keys 列在不同行中可能包含不同的NumPy数组（即键集合或顺序可能不一致）时，我们需要一种更通用的方法来处理。在这种情况下，直接使用 iloc[0] 作为所有行的列名将不再适用。
首先，我们创建一个示例DataFrame，其中 keys 列在不同行中有所不同。
source_df_non_identical = pd.DataFrame(
[
['data_C1', 'data_D1', np.array(['key1', 'key2', 'key3']), np.array(['value1c', 'value2c', 'value3c'])],
['data_C2', 'data_D2', np.array(['key3', 'key4', 'key1']), np.array(['value3d', 'value4d', 'value1d'])]
],
columns=['col 1', 'col 2', 'keys', 'values']
)
print("\n原始DataFrame (键不一致):")
print(source_df_non_identical)输出的 source_df_non_identical 如下所示：
原始DataFrame (键不一致):
col 1 col 2 keys values
0 data_C1 data_D1 [key1, key2, key3] [value1c, value2c, value3c]
1 data_C2 data_D2 [key3, key4, key1] [value3d, value4d, value1d]方法：使用字典列表构建DataFrame
这种方法的核心思想是，对于每一行，将 keys 数组和 values 数组压缩（zip）成键值对，然后转换为字典。将所有行的字典集合起来形成一个字典列表，再用这个字典列表构建一个新的DataFrame。这种方法能够自动处理不同行中键的缺失或存在。
# 复制一份DataFrame
df_non_identical_keys = source_df_non_identical.copy()
# 1. 移除原始的 'keys' 和 'values' 列
# 2. 遍历 'keys' 和 'values' 列，将每行的键值对组合成字典
# 3. 使用字典列表创建新的DataFrame
# 4. 将新创建的DataFrame与原始DataFrame的剩余部分进行连接
result_df_non_identical = (df_non_identical_keys.drop(columns=['keys', 'values'])
.join(pd.DataFrame([dict( 
