高效查找百万级日志数据中缺失的ID
处理海量日志数据时，经常会遇到ID缺失的情况。本文介绍一种使用Python脚本高效查找缺失ID的方法，尤其适用于包含数十万甚至百万级记录的大型日志文件（例如txt格式）。这些日志文件可能记录进程运行状态，并使用递增ID标识数据处理结果。
假设日志文件格式如下：
... 2021-07-07 21:35:05 id=9 empty_content 2021-07-07 21:35:06 id=10 empty_content 2021-07-07 21:36:36 id=11 start_saveas_imgs 2021-07-07 21:36:38 id=11 imgs_notes[0] success_qn_upload=updataa/0128/1517124124106989.jpeg 2021-07-07 21:36:39 id=11 imgs_notes[1] success_qn_upload=updataa/0128/1517124124107128.jpeg 2021-07-07 21:36:41 id=11 imgs_notes[2] success_qn_upload=updataa/0128/1517124124107213.jpeg ...
即使理论上ID应连续递增，实际情况中可能存在缺失。例如，ID范围为1到50000，但日志中可能缺少666、888、1313等ID的记录。
以下Python脚本利用集合的高效性，快速查找缺失的ID：
#!/usr/bin/python
import re
with open("log.txt") as fp:
existing_ids = set()
for line in fp:
match = re.match(r".+id=(\d+)", line)
if match:
existing_ids.add(int(match.group(1)))
if existing_ids:
full_range = set(range(min(existing_ids), max(existing_ids) + 1))
missing_ids = sorted(list(full_range - existing_ids))
print(missing_ids)
else:
print("No IDs found in the log file.")
该脚本首先读取日志文件，使用正则表达式提取所有ID，并存储到一个集合existing_ids中。然后，它创建一个包含从最小ID到最大ID所有整数的集合full_range，并通过集合差运算(full_range - existing_ids)找到缺失的ID。最后，它将缺失的ID列表排序并打印输出。 请将 "log.txt" 替换为你的日志文件名。 如果日志文件中没有找到任何ID，脚本会打印一条提示信息。
此方法充分利用Python集合的特性，显著提高了处理百万级数据时的效率。
