利用Pandas和NumPy高效构建坐标DataFrame教程

本教程旨在指导用户如何根据一个索引列表从现有pandas dataframe中提取特定x、y坐标并构建一个新的dataframe。文章将首先介绍基于循环和字典的初步解决方案及其改进，随后重点讲解如何利用numpy的矢量化操作实现更高效、简洁的数据提取和dataframe创建，以应对大规模数据处理场景。

在数据分析和处理中，我们经常需要根据一系列索引或映射关系，从一个大型数据结构中抽取特定信息并重构为新的数据表。本教程将以一个具体场景为例，详细讲解如何高效地从一个包含节点信息的DataFrame中，根据一个“行程”列表（由索引对构成）来提取对应的X、Y坐标，并构建一个新的坐标DataFrame。

场景描述

假设我们拥有以下两个主要数据结构：

1. 一个名为 tours 的列表，其中包含多个子列表。每个子列表形如 [xi, yi]，表示一对索引。xi 和 yi 分别对应于主DataFrame中X和Y列的行索引。
2. 一个名为 df 的Pandas DataFrame，包含了多个节点的详细信息，其中包括 Node、X、Y、Demand 和 Profit 等列。

我们的目标是创建一个新的DataFrame coord，它只有两列：X 和 Y。coord 的每一行都应对应 tours 中的一个 [xi, yi] 对，其中 X 值是 df.iloc[xi]['X']，Y 值是 df.iloc[yi]['Y']。

初始方法：基于循环和字典

一种直观的方法是遍历 tours 列表，在循环中根据索引从 df 中提取对应的X和Y值，然后将这些值存储到一个字典中，最后再将字典转换为DataFrame。

数据准备：

首先，我们定义示例数据：

import pandas as pd
import numpy as np

tours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10],
         [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]

# 示例DataFrame df
data = {
    'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16],
    'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952],
    'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25],
    'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0],
    'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]
}
df = pd.DataFrame(data, index=range(len(data['Node']))) # 确保索引是从0开始的

基于循环和字典的实现：

天工大模型

中国首个对标ChatGPT的双千亿级大语言模型

下载

d = {}
for t, tour in enumerate(tours):
    xi = tour[0]
    yi = tour[1]

    # 从df中根据索引提取X和Y值
    x_val = df["X"].iloc[xi]
    y_val = df["Y"].iloc[yi]

    d[t] = (x_val, y_val) # 将X和Y值作为元组存储

# 将字典转换为DataFrame
# 注意：直接使用 pd.DataFrame(d.items(), columns=['X', 'Y']) 会导致第二列是元组
# 正确的方式是使用 from_dict 并指定 orient='index'
coord_loop = pd.DataFrame.from_dict(d, orient='index', columns=['X', 'Y'])
print("--- 循环和字典方法结果 ---")
print(coord_loop)

代码解析：

1. 初始化一个空字典 d。
2. 使用 enumerate 遍历 tours 列表，获取每个子列表的索引 t 和内容 tour。
3. xi = tour[0] 和 yi = tour[1] 分别获取X和Y的行索引。
4. df["X"].iloc[xi] 和 df["Y"].iloc[yi] 使用 .iloc 进行基于整数位置的索引，提取出对应的X和Y值。
5. 将提取到的 x_val 和 y_val 作为一个元组 (x_val, y_val) 存储到字典 d 中，键为当前循环的索引 t。
6. 最后，使用 pd.DataFrame.from_dict(d, orient='index', columns=['X', 'Y']) 将字典转换为DataFrame。orient='index' 告诉Pandas字典的键是DataFrame的索引，值是行数据。columns=['X', 'Y'] 指定了新DataFrame的列名。

这种方法虽然可行，但在处理大规模 tours 列表时，Python的循环会带来显著的性能开销。

优化方法：利用NumPy进行矢量化操作

Pandas和NumPy的强大之处在于其矢量化操作，它们可以极大地提高数据处理效率。我们可以将 tours 列表和 df 中需要查询的列转换为NumPy数组，然后利用NumPy的高级索引功能一步完成数据提取。

# 将tours列表转换为NumPy数组，便于进行切片和索引
tours_np = np.array(tours)

# 提取df中所有X和Y坐标，并转换为NumPy数组
# 这样可以一次性获取所有可能的坐标点，后续通过索引访问
df_coords_np = df[["X", "Y"]].to_numpy()

# 使用NumPy高级索引来创建新的X和Y列
# tours_np[:, 0] 得到所有xi索引组成的数组
# tours_np[:, 1] 得到所有yi索引组成的数组

# arr[tours_np[:, 0], 0]：
#   tours_np[:, 0] 是一个索引数组，用于选择 df_coords_np 的行（对应X的索引）
#   0 表示选择 df_coords_np 的第0列（即X值）
extracted_X = df_coords_np[tours_np[:, 0], 0]

# arr[tours_np[:, 1], 1]：
#   tours_np[:, 1] 是一个索引数组，用于选择 df_coords_np 的行（对应Y的索引）
#   1 表示选择 df_coords_np 的第1列（即Y值）
extracted_Y = df_coords_np[tours_np[:, 1], 1]

# 将提取出的X和Y数组转换为新的DataFrame
coord_optimized = pd.DataFrame({"X": extracted_X, "Y": extracted_Y})

print("\n--- NumPy矢量化方法结果 ---")
print(coord_optimized)

代码解析：

1. tours_np = np.array(tours)：将 tours 列表转换为NumPy数组。这样可以方便地使用 tours_np[:, 0] 和 tours_np[:, 1] 来分别获取所有X索引和所有Y索引的数组。
2. df_coords_np = df[["X", "Y"]].to_numpy()：从原始DataFrame df 中选择 X 和 Y 列，并将其转换为一个NumPy二维数组。这个数组的每一行都是一个 [X_val, Y_val] 对。
3. extracted_X = df_coords_np[tours_np[:, 0], 0]：这是关键的矢量化操作。
   • tours_np[:, 0] 生成一个一维数组，包含了 tours 中所有子列表的第一个元素（即X的索引）。
   • df_coords_np[...] 使用这个索引数组来选择 df_coords_np 中的对应行。
   • 0 则指定从这些选定的行中取出第0列的值（即X坐标）。
   • 最终 extracted_X 是一个包含所有所需X坐标的一维NumPy数组。
4. extracted_Y = df_coords_np[tours_np[:, 1], 1]：同理，使用 tours_np[:, 1] 获取Y的索引，并从 df_coords_np 中取出第1列的值（即Y坐标），生成 extracted_Y 数组。
5. coord_optimized = pd.DataFrame({"X": extracted_X, "Y": extracted_Y})：最后，使用这两个NumPy数组直接构建新的DataFrame coord_optimized。

两种方法的比较

• 性能： NumPy矢量化方法在处理大量数据时通常比基于Python循环的方法快得多，因为它在底层是用C语言实现的，避免了Python解释器的开销。
• 简洁性： 矢量化代码通常更简洁，易于阅读和理解其意图，尤其是对于熟悉NumPy的用户。
• 可读性： 对于初学者来说，循环方法可能更容易理解其逻辑，但随着对NumPy的熟悉，矢量化方法会显得更加直观。

总结与应用

通过本教程，我们学习了两种从现有DataFrame中根据索引列表提取特定坐标并构建新DataFrame的方法。虽然基于循环和字典的方法在逻辑上直观，但为了追求更高的效率和代码简洁性，尤其是在处理大数据集时，强烈推荐使用NumPy的矢量化操作。

最终生成的 coord DataFrame可以直接用于后续的数据分析和可视化任务，例如绘制路径图。coord_optimized DataFrame的每一行都代表一个由 tours 定义的坐标点，这些点可以按顺序连接起来，形成一条完整的路线。