使用Pandas转换并合并DataFrame：多列映射至统一结构-Python教程-PHP中文网

使用Pandas转换并合并DataFrame：多列映射至统一结构

心靈之曲

发布： 2025-12-01 12:35:02

原创

770人浏览过

使用pandas转换并合并dataframe：多列映射至统一结构

本教程详细阐述了如何利用Pandas库将多个DataFrame中的特定列映射到统一的结构中，并通过转换和合并操作，实现将源DataFrame中的不同信息整合到目标DataFrame的现有列中。文章通过具体示例，展示了如何动态重命名、转换列数据类型，并最终使用`pd.concat`高效地整合数据，以满足特定的数据分析和报告需求。

在数据处理和分析中，我们经常会遇到需要将来自不同来源或具有不同结构的数据集合并到一起的情况。有时，这些数据源中的信息虽然存储在不同的列中，但其语义上却对应着目标数据集中的同一列。本教程将指导您如何使用Pandas库，有效地将一个DataFrame中的多列信息转换并映射到另一个DataFrame的统一列中，最终实现数据的整合。

场景分析与目标

假设我们有两个DataFrame，df1包含基本的用户信息，如姓名、年龄和性别。df2则在df1的基础上额外提供了用户的昵称（nick_name）信息，并且我们希望将这些昵称也整合到最终结果的“姓名”列中，同时对性别信息进行简化，并与df1的数据合并。

初始DataFrame示例：

df1 (第一个DataFrame):

import pandas as pd

data1 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female']
}
df1 = pd.DataFrame(data1)
print("df1:")
print(df1)

登录后复制

输出:

         name  age     sex
0   smith row   26    male
1   sam smith   30    male
2  susan storm  25  female

登录后复制

df2 (第二个DataFrame):

data2 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female'],
    'nick_name': ['smity', 'sammy', 'suanny']
}
df2 = pd.DataFrame(data2)
print("\ndf2:")
print(df2)

登录后复制

输出:

         name  age     sex nick_name
0   smith row   26    male     smity
1   sam smith   30    male     sammy
2  susan storm  25  female    suanny

登录后复制

我们的目标是生成一个包含df1所有行，以及df2中nick_name和简化后的sex信息的新DataFrame，结构如下：

         name   age    sex
0   smith row    26   male
1   sam smith    30   male
2  susan storm   25 female
3        smity  NaN      m
4        sammy  NaN      m
5       suanny  NaN      f

登录后复制

实现步骤

要达到上述目标，我们需要对df2进行一系列的转换操作，使其列结构与df1保持一致，然后再进行合并。

Cowriter

AI 作家，帮助加速和激发你的创意写作

107

查看详情

1. 准备第二个DataFrame (df2)

首先，我们需要修改df2，使其包含我们想要映射到最终结果的列，并移除不再需要的列。

a. 映射昵称到姓名列： 将df2中的nick_name列的值赋给name列。这样，df2的name列就包含了昵称信息，为后续合并做准备。

df2_modified = df2.copy() # 创建副本以避免修改原始df2
df2_modified['name'] = df2_modified['nick_name']

登录后复制

b. 简化性别信息： 将df2中的sex列的值简化为首字母（例如，'male'变为'm'，'female'变为'f'）。这可以通过字符串切片操作实现。

df2_modified['sex'] = df2_modified['sex'].str[0]

登录后复制

c. 移除多余列： 为了确保df2_modified的列结构与df1兼容，我们需要删除df2_modified中不希望出现在最终合并结果中的列，例如age和nick_name。

df2_modified = df2_modified.drop(columns=['age', 'nick_name'])

登录后复制

经过这些步骤，df2_modified现在看起来是这样的：

       name sex
0     smity   m
1     sammy   m
2    suanny   f

登录后复制

请注意，此时df2_modified不再包含age列。

2. 合并DataFrame

现在df1和df2_modified具有相似的列结构（name和sex），我们可以使用pd.concat()函数将它们垂直合并。

df_final = pd.concat([df1, df2_modified], ignore_index=True)

登录后复制

[df1, df2_modified]：这是一个包含要合并的DataFrame的列表。
ignore_index=True：这个参数非常重要，它会重置合并后DataFrame的索引，使其从0开始连续编号，避免了原始DataFrame索引的冲突和重复。

完整代码示例

将上述步骤整合到一起，形成完整的解决方案：

import pandas as pd

# 初始DataFrame
data1 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female']
}
df1 = pd.DataFrame(data1)

data2 = {
    'name': ['smith row', 'sam smith', 'susan storm'],
    'age': [26, 30, 25],
    'sex': ['male', 'male', 'female'],
    'nick_name': ['smity', 'sammy', 'suanny']
}
df2 = pd.DataFrame(data2)

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

# --- 转换 df2 以匹配目标结构 ---
# 1. 创建 df2 的副本以避免修改原始数据
df2_transformed = df2.copy()

# 2. 将 'nick_name' 列的值赋给 'name' 列
df2_transformed['name'] = df2_transformed['nick_name']

# 3. 简化 'sex' 列为首字母
df2_transformed['sex'] = df2_transformed['sex'].str[0]

# 4. 删除不再需要的列（'age' 和 'nick_name'）
df2_transformed = df2_transformed.drop(columns=['age', 'nick_name'])

print("\n转换后的 df2_transformed:")
print(df2_transformed)

# --- 合并 DataFrame ---
# 使用 pd.concat 垂直合并 df1 和 df2_transformed
# ignore_index=True 确保新的索引是连续的
df_final = pd.concat([df1, df2_transformed], ignore_index=True)

print("\n最终合并结果 df_final:")
print(df_final)

登录后复制

结果分析与注意事项

最终输出的df_final将是：

         name   age     sex
0   smith row  26.0    male
1   sam smith  30.0    male
2  susan storm  25.0  female
3        smity   NaN       m
4        sammy   NaN       m
5       suanny   NaN       f

登录后复制

关键点说明：

NaN 值的出现： 在df_final中，来自df2_transformed的行在age列显示为NaN（Not a Number）。这是因为我们在合并前从df2_transformed中删除了age列。当使用pd.concat合并具有不同列集的DataFrame时，Pandas会自动填充缺失的列为NaN。
数据类型推断： 由于age列现在包含整数和NaN，Pandas可能会将其数据类型自动转换为浮点数（float64），因为NaN在Pandas中通常表示为浮点类型。如果您需要整数类型，可能需要在使用fillna()处理NaN后显式转换。
灵活性： 这种方法非常灵活，您可以根据需要对df2（或其他源DataFrame）进行任何复杂的转换，包括使用apply()函数进行自定义逻辑、使用map()进行值映射等，只要最终的列结构与目标DataFrame匹配，就可以顺利合并。
避免修改原始DataFrame： 在示例中，我们使用了df2.copy()来创建df2_transformed。这是一个良好的实践，可以避免意外修改原始df2数据，尤其是在后续分析中还需要使用原始数据的情况下。

总结

通过本教程，您学习了如何利用Pandas的强大功能，通过列的重命名、数据转换和pd.concat操作，将不同DataFrame中的多列信息有效地映射并整合到统一的结构中。理解这些技术对于处理真实世界中复杂且多样的数据集至关重要，它使您能够灵活地重塑和合并数据，以满足特定的分析需求。在进行此类操作时，始终要注意列的匹配、数据类型的兼容性以及缺失值的处理。

以上就是使用Pandas转换并合并DataFrame：多列映射至统一结构的详细内容，更多请关注php中文网其它相关文章！