使用Pandas和正则表达式高效处理混合格式CSV文件

Pyscip_V1.11 Ref: #001=XYZ_0[1234] #50=M3_0[112] #51=M3_1[154] #52=M3_2[254]
ID  Date    XYZ_0  M3_0   M3_1  M3_2
1   22.12.2023  12.6  0.5 1.2   2.3

import re
import pandas as pd

# 定义CSV文件路径
file_path = 'my_csv.csv'

# 使用 'with open()' 安全地打开文件
with open(file_path, 'r') as f:
    # 使用 next(f) 读取文件的第一行。
    # 这会将文件指针移动到第二行的开头，为后续的 pd.read_csv 做准备。
    first_line = next(f)

    # 定义正则表达式来匹配元数据模式：#数字=ID[数字]
    # 模式解释：
    #   #(\d+)       -> 匹配字面量 '#' 后面的一个或多个数字，并将其捕获为组1 (Ref)
    #   =(\w+_\d)    -> 匹配字面量 '=' 后面的一个或多个字母数字字符或下划线，
    #                  接着是下划线和数字，并将其捕获为组2 (ID)
    #   \[([\d]+)\]  -> 匹配字面量 '['，然后捕获一个或多个数字作为组3 (Num)，
    #                  最后匹配字面量 ']'
    metadata_pattern = r'#(\d+)=(\w+_\d)\[([\d]+)\]'

    # 使用 re.findall 查找所有匹配的模式。
    # re.findall 会返回一个元组列表，每个元组包含捕获组的内容。
    metadata_matches = re.findall(metadata_pattern, first_line)

    # 将解析出的元数据转换为Pandas DataFrame
    # 直接将 re.findall 的结果传递给 pd.DataFrame，并指定列名
    header_df = pd.DataFrame(metadata_matches, columns=['Ref', 'ID', 'Num'])

    print("--- 头部元数据 DataFrame ---")
    print(header_df)

    # 步骤2：读取文件主体数据
    # pd.read_csv 会从文件指针的当前位置（即第一行之后）开始读取。
    # sep=r'\s+' 表示使用一个或多个空白字符作为分隔符，适用于本示例中的空格分隔数据。
    data_df = pd.read_csv(f, sep=r'\s+')

    print("\n--- 主体数据 DataFrame ---")
    print(data_df)

--- 头部元数据 DataFrame ---
   Ref     ID   Num
0  001  XYZ_0  1234
1   50   M3_0   112
2   51   M3_1   154
3   52   M3_2   254

--- 主体数据 DataFrame ---
   ID        Date  XYZ_0  M3_0  M3_1  M3_2
0   1  22.12.2023   12.6   0.5   1.2   2.3