1. 场景概述与数据准备
在日常的数据分析和网络管理工作中，我们经常需要从多个分散的数据源中提取和关联信息。例如，我们可能有以下三类文件：
-
file1.txt: 包含一系列需要查询的 IP 地址列表。
1.1.1.1 1.1.1.2 1.1.1.3 1.1.1.6 1.1.1.11
-
file2.txt: 包含 IP 地址到 MAC 地址的映射关系，以及其他网络设备信息。
Protocol Address Age (min) Addr Type Interface Internet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49 Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1 Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1 Internet 1.1.1.4 0 Incomplete A Internet 1.1.1.5 0 Incomplete A Internet 1.1.1.6 64 fa16.6edb.6666 A Vlan1 Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
-
file3.txt: 包含 MAC 地址到端口的映射关系，以及其他 VLAN 信息。
Unicast Entries vlan mac address type protocols port ---------+---------------+--------+---------------------+------------------------- 1 6026.aa11.1111 static ip,ipx,assigned,other Switch 1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24 1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12 1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8 1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
我们的目标是：对于 file1.txt 中的每一个 IP 地址，首先在 file2.txt 中找到对应的 MAC 地址（Addr 列），然后根据这个 MAC 地址在 file3.txt 中找到对应的端口（port 列），最终输出 IP、MAC 和端口的组合信息。
2. 导入 Pandas 并加载数据
Pandas 是 Python 中一个强大的数据分析库，尤其擅长处理表格型数据。它提供了 DataFrame 结构，非常适合表示和操作我们的文件数据。首先，我们需要导入 Pandas 库，并将上述三个文件的数据加载到独立的 DataFrames 中。
为了演示方便，我们将直接创建 DataFrames。在实际应用中，您可以使用 pd.read_csv() 或 pd.read_fwf() 等函数从实际文件中加载数据，并根据文件格式指定分隔符、列名等参数。
import pandas as pd
import io
# 模拟 file1.txt 数据
data_file1 = """
1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11
"""
df1 = pd.read_csv(io.StringIO(data_file1), header=None, names=['ipv4'])
# 模拟 file2.txt 数据
data_file2 = """
Protocol Address Age (min) Addr Type Interface
Internet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49
Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1
Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1
Internet 1.1.1.4 0 Incomplete A
Internet 1.1.1.5 0 Incomplete A
Internet 1.1.1.6 64 fa16.6edb.6666 A Vlan1
Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
"""
# 注意：这里使用 read_fwf 处理固定宽度格式，或者根据实际分隔符使用 read_csv
# 为简化，直接手动构建 DataFrame，与原始答案保持一致
df2 = pd.DataFrame({
"Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" },
"Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" },
"Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" },
"Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" },
"Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" },
"Interface":{ "0":"Ethernet1/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }
})
# 模拟 file3.txt 数据
data_file3 = """
vlan mac address type protocols port
1 6026.aa11.1111 static ip,ipx,assigned,other Switch
1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24
1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12
1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8
1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
"""
# 为简化，直接手动构建 DataFrame，与原始答案保持一致
df3 = pd.DataFrame({
"vlan":{"0":1,"1":1,"2":1,"3":1,"4":1},
"mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"},
"type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"},
"protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"},
"port":{"0":"Switch","1":" Ethernet1/24","2":" Ethernet1/12","3":" Ethernet1/8","4":" Ethernet1/10"}})
print("df1:\n", df1)
print("\ndf2:\n", df2)
print("\ndf3:\n", df3)3. 使用 merge 操作关联 DataFrames
Pandas 的 merge 函数是实现多表关联的核心工具，类似于 SQL 中的 JOIN 操作。我们将分两步进行合并：
立即学习“Python免费学习笔记（深入）”；
-
第一次合并：关联 df1 和 df2
Android数据库SQLite的使用示例 中文WORD版下载Android 提供了三种数据存储方式，第一种是文件存储;第二种是SharedPreferences存储;第三种就是数据库SQLiteDatabase存储。文件存储我就不用多说了，而SharedPreferences可以存取简单的数据(int,double,float.etc)，它经常用于数据缓存，因为它读取存储简单。详细可以参见本系列。Android高手进阶教程(七)之----Android 中Preferences的使用! 今天我们将讲一下SQLiteDatabase的使用。而掌握SqliteData
- 目标：根据 df1 中的 IP 地址 (ipv4 列) 找到 df2 中对应的 MAC 地址 (Addr 列)。
- 关联键：df1 的 ipv4 列与 df2 的 Address 列。
- 合并类型：使用 inner 合并，这意味着只有在两个 DataFrame 中都存在的 IP 地址才会被保留。
-
第二次合并：关联第一次合并的结果与 df3
- 目标：根据上一步得到的 MAC 地址 (Addr 列) 找到 df3 中对应的端口 (port 列)。
- 关联键：合并结果的 Addr 列与 df3 的 mac address 列。
- 合并类型：同样使用 inner 合并。
# 第一次合并：将 df1 (IP列表) 与 df2 (IP-MAC映射) 合并
# 以 df1 的 'ipv4' 列和 df2 的 'Address' 列为键进行内连接
merged_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
# 第二次合并：将上一步结果与 df3 (MAC-端口映射) 合并
# 以 merged_ip_mac 的 'Addr' 列和 df3 的 'mac address' 列为键进行内连接
final_df = merged_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
print("\n最终合并结果 (部分列):\n", final_df)4. 提取并展示所需结果
完成合并后，final_df 包含了所有三个文件中的相关信息。现在，我们只需要选择并展示我们关心的列：IP 地址 (ipv4)、MAC 地址 (Addr) 和端口 (port)。
# 提取所需的列并打印
output_df = final_df[["ipv4", "Addr", "port"]]
# 格式化输出
for index, row in output_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port'].strip()}")预期输出：
ip 1.1.1.1 addr 6026.aa11.1111 port Switch ip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24 ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12 ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8 ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10
5. 注意事项与进阶提示
-
实际文件加载: 当处理真实文件时，pd.read_csv() 是更常用的选择。您需要根据文件的实际分隔符（如逗号、制表符、空格等）设置 sep 参数，并根据是否有标题行设置 header 参数。例如：
# df1 = pd.read_csv('file1.txt', header=None, names=['ipv4']) # df2 = pd.read_csv('file2.txt', sep='\s+', engine='python') # 对于不规则空格分隔 # df3 = pd.read_csv('file3.txt', sep='\s+', skiprows=1, engine='python') # 可能需要跳过标题下划线对于像 file2.txt 和 file3.txt 这种列之间由不规则空格分隔的文本，sep='\s+' 和 engine='python' 组合通常能很好地工作。skiprows 参数可以用来跳过不包含数据的行（如 file3.txt 中的 Unicast Entries 和 --------- 行）。
- 数据清洗: 在合并之前，确保用于关联的列（如 IP 地址和 MAC 地址）数据类型一致，并且没有前导/尾随空格。可以使用 .str.strip() 清除字符串列中的空格。
-
合并类型: merge 函数的 how 参数非常重要：
- inner (默认): 只保留两个 DataFrame 中都有的键。
- left: 保留左侧 DataFrame 的所有行，并匹配右侧 DataFrame 的行。
- right: 保留右侧 DataFrame 的所有行，并匹配左侧 DataFrame 的行。
- outer: 保留所有 DataFrame 中的所有行，不匹配的用 NaN 填充。 根据您的具体需求选择合适的合并类型。
- 性能优化: 对于非常大的文件，Pandas 提供了高效的 C 语言实现，通常比手动循环文件快得多。确保您的 Pandas 版本是最新的以获得最佳性能。
总结
通过本教程，我们学习了如何利用 Python Pandas 库的 DataFrame 和 merge 功能，将分散在多个文件中的数据进行高效地关联和整合。这种方法不仅代码简洁，而且在处理大量数据时表现出卓越的性能，是进行复杂数据分析和报告生成的强大工具。掌握 Pandas 的数据加载、清洗和合并技巧，将极大地提升您的数据处理效率。
