使用 Pandas 高效处理 .dat 文件：数据清洗与数值计算实战

pip install pandas numpy

9:01:15 SA7.998  SC7.968 
9:01:16 SA7.998  SC7.968 

import pandas as pd
import numpy as np

# 读取 .dat 文件
# sep='\s+' 表示使用一个或多个空格作为分隔符
# header=None 表示文件没有标题行
# names 指定列名
df = pd.read_csv('serial_2.dat', sep='\s+', header=None, names=['time', 's1', 's2'])

print("原始数据框:")
print(df)
print("\n数据类型:")
print(df.dtypes)

原始数据框:
      time     s1     s2
0  9:01:15  SA7.998  SC7.968
1  9:01:16  SA7.998  SC7.968

数据类型:
time    object
s1      object
s2      object
dtype: object

# 使用正则表达式提取数字部分
# ^[\D]+(.*) 表示匹配行首的一个或多个非数字字符，并捕获其后的所有字符
df['s1'] = df['s1'].str.extract('^[\D]+(.*)').astype(float)
df['s2'] = df['s2'].str.extract('^[\D]+(.*)').astype(float)

print("\n使用正则表达式清洗后的数据框:")
print(df)
print("\n清洗后的数据类型:")
print(df.dtypes)

使用正则表达式清洗后的数据框:
      time     s1     s2
0  9:01:15  7.998  7.968
1  9:01:16  7.998  7.968

清洗后的数据类型:
time     object
s1      float64
s2      float64
dtype: object

# 重新读取数据以演示此方法
df_slice = pd.read_csv('serial_2.dat', sep='\s+', header=None, names=['time', 's1', 's2'])

# 使用字符串切片移除前两个字符，并转换为浮点数
df_slice['s1'] = df_slice['s1'].str[2:].astype(float)
df_slice['s2'] = df_slice['s2'].str[2:].astype(float)

print("\n使用字符串切片清洗后的数据框:")
print(df_slice)
print("\n清洗后的数据类型:")
print(df_slice.dtypes)

使用字符串切片清洗后的数据框:
      time     s1     s2
0  9:01:15  7.998  7.968
1  9:01:16  7.998  7.968

清洗后的数据类型:
time     object
s1      float64
s2      float64
dtype: object

# 假设我们使用 df (经过正则表达式清洗)
# 计算 s1 和 s2 列的平均值，再计算这两个平均值的平均值
global_avg_pandas = df[['s1', 's2']].mean().mean()
print(f"\n使用 Pandas 计算的全局平均值: {global_avg_pandas}")

# 或者使用 NumPy 计算所有相关数值的平均值
global_avg_numpy = np.mean(df[['s1', 's2']])
print(f"使用 NumPy 计算的全局平均值: {global_avg_numpy}")

使用 Pandas 计算的全局平均值: 7.983
使用 NumPy 计算的全局平均值: 7.983

# 计算每一行的平均值 (axis=1 表示按行操作)
df['avg'] = df[['s1', 's2']].mean(axis=1)

print("\n添加行平均值后的数据框:")
print(df)

添加行平均值后的数据框:
      time     s1     s2    avg
0  9:01:15  7.998  7.968  7.983
1  9:01:16  7.998  7.968  7.983