从DataFrame中包含字典列表的列创建新DataFrame

本教程详细介绍了如何将DataFrame中包含字典列表的复杂列展开为新的、扁平化的DataFrame。文章提供了两种主要的解决方案：一种利用`str`访问器和`apply(pd.Series)`处理列表中的单个字典，另一种则通过引入默认字典结构来更健壮地处理空列表或缺失值，确保数据转换的完整性和准确性。

从包含字典列表的DataFrame列创建新DataFrame

在数据处理中，我们经常会遇到DataFrame的某一列存储着复杂的数据结构，例如字典列表。将这些复杂结构展开为新的、独立的列是数据清洗和分析的关键步骤。本教程将介绍如何高效地实现这一转换，并处理可能出现的空列表或缺失值情况。

场景描述与初始数据

假设我们有一个DataFrame，其中一个名为stats的列包含了不同长度的列表，每个列表可能包含一个字典或为空。我们的目标是将这些字典中的键（如city和last_time）提取出来，作为新的列添加到DataFrame中。

示例输入数据：

import pandas as pd
import numpy as np

df = pd.DataFrame(
    {
        "stats": [
            [{"city": None, "last_time": 1234567}],
            [],
            [{"city": "Seattle", "last_time": 45678999876}]]
    }
)

print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
                               stats
0  [{'city': None, 'last_time': 1234567}]
1                                     []
2  [{'city': 'Seattle', 'last_time': 45678999876}]

我们期望的输出是一个包含city和last_time两列的DataFrame，其中第二行（对应原始的空列表）应显示为NA或None。

解决方案一：使用 str 访问器和 apply(pd.Series)

如果可以确定列表通常只包含一个字典，或者我们只关心列表中的第一个字典，那么结合使用Series.str访问器和apply(pd.Series)是一种简洁有效的方法。

1. df["stats"].str[0]:
   • str访问器允许我们对Series中的字符串或列表元素执行字符串/列表操作。
   • str[0]会尝试访问每个列表的第一个元素。如果一个元素不是列表，或者列表为空，它将返回NaN。
2. .apply(pd.Series):
   • 对于str[0]返回的每个字典（或NaN），apply(pd.Series)会将其转换为一个Pandas Series。
   • Pandas在将这些Series堆叠时，会自动将字典的键转换为新的列名。对于NaN值，它会相应地填充NaN。

实现代码：

# 方案一：直接提取第一个字典并展开
# 注意：此方法对于空列表会产生NaN，后续可以根据需要进行处理
out1 = df["stats"].str[0].apply(pd.Series)

print("\n方案一输出:")
print(out1)

输出：

方案一输出:
      city      last_time
0      NaN     1234567.00
1      NaN            NaN
2  Seattle 45678999876.00

注意事项：

PHPWind 9.0 模板开发

PHPWind（简称：PW，中国国家版权局著作权登记号为:2004SR06082）的使命是让网站更具价值，让更多人从网络中享受便利，以提升生活品质。 PHPWind的两位创始人王学集、林耀纳于2003年发布了PHPWind的前身版本ofstar，并发展成为包含BBS、CMS、博客、SNS等一系列程序的通用型建站软件。至今累计已有超过120万网站使用phpwind，每天还有1000个新增网站，这些

271

查看详情

• 此方法简洁，但对于原始数据中的city: None，Pandas会将其识别为缺失值并显示为NaN。
• 对于空列表[]，str[0]会返回NaN，进而.apply(pd.Series)也会为对应的行生成全NaN。
• 如果列表可能包含多个字典，此方法只会处理第一个字典。

解决方案二：更健壮地处理空列表和缺失值

在某些情况下，我们可能希望对空列表或None值有更明确的控制，例如用一个默认的字典结构来填充，以确保所有行都有相同的列结构，即使数据缺失。

1. stats = df["stats"].str[0]: 同方案一，先尝试提取第一个字典。
2. templ = dict.fromkeys(["city", "last_time"]): 创建一个默认字典模板，其键与我们期望的输出列名一致，值为None。
3. stats.where(stats.notnull(), templ):
   • Series.notnull() 返回一个布尔Series，指示哪些元素不是NaN。
   • Series.where(condition, other) 方法会根据condition替换Series中的值。如果condition为False（即元素为NaN），则使用other（即我们的templ字典）来替换。
   • 这样，原始的空列表（在str[0]后变为NaN）现在会被{'city': None, 'last_time': None}这个默认字典替换。
4. .apply(pd.Series): 再次使用apply(pd.Series)来展开所有字典。

实现代码：

# 方案二：处理空列表，用默认字典填充
stats_series = df["stats"].str[0]
# 创建一个默认字典，用于填充空列表转换后的NaN
templ = dict.fromkeys(["city", "last_time"])

# 使用where方法，如果stats_series中的元素为NaN（来自空列表），则用templ填充
out2 = stats_series.where(stats_series.notnull(), templ).apply(pd.Series)

print("\n方案二输出:")
print(out2)

输出：

方案二输出:
      city      last_time
0      NaN     1234567.00
1     None            NaN
2  Seattle 45678999876.00

对比与分析：

• 第一行 (city: None): 两种方案都将None处理为NaN。这是Pandas在处理混合类型数据时的常见行为，尤其是在数值列中，None通常会被转换为NaN。如果需要保留None作为字符串，可能需要后续类型转换。
• 第二行 (空列表 []):
  • 方案一直接将其转换为全NaN行。
  • 方案二将其转换为{'city': None, 'last_time': None}，然后展开。这使得city列显示None，last_time列显示NaN（因为None在数值列中会被转换为NaN）。这种处理方式在某些情况下更符合预期，因为它明确表示了这些字段的缺失。

总结与最佳实践

在从包含字典列表的DataFrame列创建新DataFrame时，选择哪种方法取决于您的具体需求和数据特性：

• 如果您的列表总是包含一个字典，且对空列表直接生成NaN可以接受，或者您会进行后续的缺失值处理，那么方案一（df["column"].str[0].apply(pd.Series)）是最简洁高效的选择。
• 如果您需要更精细地控制空列表或NaN值的填充行为，例如用一个预定义的结构来表示缺失数据，那么方案二（结合where和默认字典）提供了更强的鲁棒性。

在实际应用中，处理完数据展开后，您可能还需要进一步进行数据类型转换（例如，将city列的NaN转换为字符串"NA"或None），以满足后续分析的需求。

# 最终数据类型和缺失值处理示例 (基于out2)
out_final = out2.copy()
# 将city列的NaN替换为"NA"，并将None转换为字符串"None"
out_final['city'] = out_final['city'].replace({np.nan: 'NA', None: 'None'})
# last_time列的NaN保持不变，或根据需要填充
# out_final['last_time'] = out_final['last_time'].fillna(0) # 示例：填充0

print("\n最终处理后的输出示例:")
print(out_final)

输出：

最终处理后的输出示例:
    city      last_time
0     NA     1234567.00
1   None            NaN
2  Seattle 45678999876.00

通过上述方法，您可以灵活高效地处理DataFrame中复杂嵌套的数据结构，将其转换为更易于分析的扁平化格式。

以上就是从DataFrame中包含字典列表的列创建新DataFrame的详细内容，更多请关注php中文网其它相关文章！