本文介绍一种针对大型有序日志文件的智能追加方法：在保持严格时间顺序的前提下，自动识别并跳过两文件间的重叠行，避免全量去重开销，兼顾效率与正确性。
在处理时序敏感的日志或记录类数据（如交易流水、传感器采样、用户行为日志）时，常需将多个按时间排序的分段文件合并为一个连续数据集。典型场景是：Jan-Mar.txt 与 Mar-Jun.txt 合并为 Jan-Jun.txt——二者在 Mar-31 处可能完全重合，也可能存在空隙或错位。此时，简单拼接会引入重复；全局去重（如用 set 或 pandas.drop_duplicates()）则破坏原有顺序、消耗内存且无法利用“数据已排序”这一关键前提。
最优策略是：利用有序性，仅检查首尾交界区域，实现 O(m+n) 时间复杂度的流式合并。
以下是一个高效、内存友好的 Python 实现：
def merge_sorted_files(file1_path, file2_path, output_path=None, key_func=None):
"""
合并两个按指定键（默认为整行）严格升序排列的文本文件，
自动跳过 file1 结尾与 file2 开头的重复行（基于 key_func 比较）。
:param file1_path: 主文件路径（结果将写入此文件，或 output_path）
:param file2_path: 待追加文件路径
:param output_path: 可选，输出文件路径；若为 None，则覆盖 file1_path
:param key_func: 可选，用于提取比较键的函数，例如 lambda x: x.split(',')[0].strip()
"""
if key_func is None:
key_func = lambda line: line # 默认以整行作为唯一键
# 读取 file1 全部内容（假设可载入内存；对超大文件建议逐行流式处理+临时缓冲）
with open(file1_path, 'r', encoding='utf-8') as f1:
lines1 = [line.rstrip('\n\r') for line in f1]
# 读取 file2 全部内容
with open(file2_path, 'r', encoding='utf-8') as f2:
lines2 = [line.rstrip('\n\r') for line in f2]
if not lines1:
merged = lines2
elif not lines2:
merged = lines1
else:
# 提取 file1 最后一行的键 和 file2 第一行的键
last_key1 = key_func(lines1[-1])
first_key2 = key_func(lines2[0])
if last_key1 == first_key2:
# 完全重叠：跳过 file2 的首行（假设后续重叠连续，但实际只需跳首行即可保证无重复）
# 更健壮做法：从 file2 开头找到第一个 key > last_key1 的位置
i = 0
while i < len(lines2) and key_func(lines2[i]) == last_key1:
i += 1
merged = lines1 + lines2[i:]
elif last_key1 < first_key2:
# 无重叠：直接拼接
merged = lines1 + lines2
else:
# 逻辑错误：file1 末尾时间晚于 file2 开头 → 数据未按升序排列
raise ValueError(f"Files are not chronologically ordered: "
f"last line of {file1_path} ({last_key1}) >= "
f"first line of {file2_path} ({first_key2})")
# 写入结果
target = output_path or file1_path
with open(target, 'w', encoding='utf-8') as out:
out.write('\n'.join(merged))
if merged:
out.write('\n') # 确保末尾有换行符
# 示例：按日期时间字段去重（推荐用于真实场景）
def parse_datetime(line):
"""安全提取 ISO 格式时间戳，兼容示例数据"""
try:
return line.split(',', 1)[0].strip()
except IndexError:
return line
# 使用示例
merge_sorted_files(
file1_path='data_jan_mar.txt',
file2_path='data_mar_jun.txt',
output_path='data_jan_jun.txt',
key_func=parse_datetime
)✅ 核心优势：
- 精准去重：仅比对交界处，不扫描全量数据；
- 保序高效：时间复杂度 O(n+m)，空间复杂度 O(n+m)（可优化为 O(1) 缓冲区流式处理）；
- 灵活键控：通过 key_func 支持按任意字段（如时间、ID）判断重复；
- 异常防护：自动校验输入文件是否真正有序，避免静默错误。
⚠️ 注意事项：
- 若文件极大（GB 级），应改用生成器逐行读取 + 双指针归并，避免内存溢出；
- 本方案假设重叠行内容完全一致（如示例中 Denise 行）。若存在语义重复但字符串不同（如毫秒级时间差异），需自定义更鲁棒的 key_func（如截断到秒级）；
- 原答案中使用 OrderedDict.fromkeys() 虽能去重，但会破坏原始顺序（因字典插入顺序在旧 Python 中不保证，且无法控制去重范围），不适用于本题的有序合并需求，故此处未采用。
总结：面对有序分块数据的合并，应抛弃“先拼后筛”的暴力思路，转而利用数据内在结构设计算法——这是工程效率与代码健壮性的双重胜利。
