本文档旨在指导您如何使用 Pandas 库合并两个 Excel 文件的数据，并基于指定列的比较结果，自动添加一个 "Status" 列，标识数据是否匹配。我们将通过一个完整的示例代码，详细解释每一步骤，并提供注意事项，帮助您轻松完成数据比对和状态标记任务。
1. 环境准备
首先，确保您已安装 Pandas 库。如果没有，可以使用 pip 进行安装：
pip install pandas
2. 代码实现
以下是一个完整的 Python 脚本，用于实现 Excel 数据的合并、比较和状态标记：
import pandas as pd
class ExcelComparator:
def __init__(self, src_file_name, src_sheet_name, src_pk, src_cols_to_compare, tgt_cols_to_compare, tgt_file_name,
tgt_sheet_name, tgt_pk, target_excel):
self.src_file_name = src_file_name
self.src_sheet_name = src_sheet_name
self.src_pk = src_pk
self.src_cols_to_compare = src_cols_to_compare
self.tgt_cols_to_compare = tgt_cols_to_compare
self.tgt_file_name = tgt_file_name
self.tgt_sheet_name = tgt_sheet_name
self.tgt_pk = tgt_pk
self.target_excel = target_excel
def highlight_cells(self, row):
styles = [''] * len(row)
pk_cols = [col for col in row.index if col in [self.src_pk, self.tgt_pk]]
for i, col in enumerate(row.index):
if i % 2 == 0 and col not in pk_cols:
src_col = col
tgt_col = row.index[i - 1] # Adjusted to get the previous column
if row[src_col] == row[tgt_col]:
styles[i], styles[i - 1] = 'background-color:lightgreen', 'background-color:lightgreen'
elif pd.isnull(row[src_col]) or pd.isnull(row[tgt_col]):
styles[i], styles[i - 1] = 'background-color:yellow', 'background-color:yellow'
else:
styles[i], styles[i - 1] = 'background-color:lightcoral', 'background-color:lightcoral'
return styles
def calculate_status(self, row):
for i in range(len(row.index) - 1, 0, -2):
src_col = row.index[i]
tgt_col = row.index[i - 1]
if row[src_col] != row[tgt_col]:
return 'Fail'
return 'Pass'
def read_and_compare(self):
src_df = pd.read_excel(self.src_file_name, sheet_name=self.src_sheet_name)
tgt_df = pd.read_excel(self.tgt_file_name, sheet_name=self.tgt_sheet_name)
result = src_df.merge(tgt_df, how='inner', left_on=self.src_pk, right_on=self.tgt_pk)
result_columns = [self.src_pk] + [col for pair in zip(self.src_cols_to_compare, self.tgt_cols_to_compare) for col
in pair]
result = result[result_columns]
result['Status'] = result.apply(self.calculate_status, axis=1)
result.style.apply(self.highlight_cells, axis=1).to_excel(self.target_excel)
# Example usage
comparator = ExcelComparator(
src_file_name='source.xlsx',
src_sheet_name='Sheet1',
src_pk='ID',
src_cols_to_compare=['Name', 'Salary'],
tgt_cols_to_compare=['FirstName', 'Sal'],
tgt_file_name='target.xlsx',
tgt_sheet_name='Sheet1',
tgt_pk='EMP_ID',
target_excel='result.xlsx'
)
comparator.read_and_compare()3. 代码详解
该代码主要分为以下几个部分：
-
ExcelComparator 类： 封装了所有操作，方便复用。
- __init__ 方法： 初始化类的各种参数，包括源文件、目标文件、主键列、需要比较的列等。
- highlight_cells 方法： 根据比较结果，对单元格进行颜色标记。绿色表示匹配，黄色表示空值，红色表示不匹配。
- calculate_status 方法： 遍历每一行，比较指定的列，如果所有列都匹配，则状态为 "Pass"，否则为 "Fail"。
- read_and_compare 方法： 读取源文件和目标文件，根据主键进行合并，选择需要的列，计算状态，并将结果写入到目标 Excel 文件。
- 示例用法： 创建 ExcelComparator 对象，并调用 read_and_compare 方法。
关键步骤解释：
- 读取 Excel 文件： 使用 pd.read_excel() 函数读取源文件和目标文件。
- 合并数据： 使用 pd.merge() 函数，根据主键列将两个 DataFrame 合并。 how='inner' 表示只保留两个 DataFrame 中都存在的键。
- 选择列： 根据 result_columns 列表，选择需要的列。
- 计算状态： 使用 apply() 函数，对每一行调用 calculate_status 方法，计算状态，并将结果添加到新的 "Status" 列。
- 颜色标记： 使用 style.apply() 函数，对单元格进行颜色标记。
- 写入 Excel 文件： 使用 to_excel() 函数，将结果写入到目标 Excel 文件。
4. 使用方法
- 准备数据： 创建两个 Excel 文件，例如 source.xlsx 和 target.xlsx，并确保它们包含示例数据中所示的列。
- 修改参数： 根据实际情况，修改示例用法中的参数，例如文件名、Sheet 名称、主键列、需要比较的列等。
- 运行代码： 运行 Python 脚本。
- 查看结果： 查看生成的 result.xlsx 文件，其中包含合并后的数据和 "Status" 列。
5. 注意事项
- 确保源文件和目标文件中都存在指定的主键列，并且主键列的数据类型一致。
- src_cols_to_compare 和 tgt_cols_to_compare 列表中的列的顺序必须一一对应。
- 如果需要比较的列包含空值，可以使用 pd.isnull() 函数进行判断。
- 可以根据实际需求，修改 highlight_cells 方法中的颜色标记规则。
- 可以根据实际需求，修改 calculate_status 方法中的状态计算规则。
6. 总结
本文档提供了一个使用 Pandas 合并 Excel 数据并添加状态列的完整示例。通过学习本文档，您可以掌握使用 Pandas 进行数据处理的基本技巧，并将其应用到实际工作中。 记住根据您的具体数据和需求调整代码。
