日志清洗解析的核心是将非结构化日志转为结构化数据，关键在于识别格式规律、分步正则提取、异常清洗及结构化输出分析。
日志清洗解析的核心是把杂乱、非结构化的原始日志，转换成字段清晰、可筛选、可统计的结构化数据。关键不在于写多复杂的正则，而在于理清日志格式规律、分步拆解、验证每一步输出。
识别日志格式特征
先人工抽样 10–20 行日志，观察固定分隔符（如空格、竖线|、方括号[ ]）、时间戳位置、IP/路径/状态码等字段是否对齐或有稳定模式。例如：
- [2024-03-15 14:22:08] INFO [192.168.1.100] GET /api/user?id=123 200 142ms
- [2024-03-15 14:22:11] WARNING [10.0.5.22] POST /login 401 87ms
可快速判断：方括号包时间+级别+IP，空格分隔动词、路径、状态码、耗时——这就构成了提取逻辑的基础。
用正则分组提取关键字段
避免写一个“全能大正则”，而是按字段逐个捕获，提高可读与可维护性。推荐用命名分组：(?P、(?P
立即学习“Python免费学习笔记（深入）”；
- 时间：r'\[(?P
- 日志级别：r'\[(?P
\w+)\]' （注意匹配位置，避免和 IP 的方括号冲突） - IP 地址：r'\[(?P
\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\]' - 请求行：r'(?P
\w+) (?P [^ ]+) (?P \d{3}) (?P \d+ms)'
组合时注意顺序和空格容错，建议用 re.compile() 预编译提升性能。
清洗异常与缺失值
真实日志总有例外：时间格式错误、字段错位、乱码、空行、调试日志混入。清洗不是“全删”，而是分类处理：
- 跳过空行或纯空白行：if not line.strip(): continue
- 对匹配失败的行，记录行号和原始内容到 warn.log，供人工复核
- 状态码非数字？统一设为 0 或 None，后续分析时过滤
- 毫秒字段含字母（如 "N/A ms"）？用 re.sub(r'[^0-9]', '', duration_str) 提纯
结构化输出与简单分析
清洗后推荐转为字典列表或 pandas DataFrame，便于后续操作：
- 导出 CSV：csv.DictWriter 直接写入带 header 的文件
- 统计各状态码出现次数：Counter([log['status'] for log in logs])
- 查慢请求（>500ms）：[log for log in logs if int(log.get('duration', '0').rstrip('ms') or 0) > 500]
- 按小时聚合请求数：pd.to_datetime(df['time']).dt.hour.value_counts().sort_index()
不复杂但容易忽略：每次清洗脚本运行后，生成一份简要报告（总行数、成功解析数、警告数、TOP3 错误类型），能极大提升协作与问题定位效率。
