处理百万行大文本的关键是绕开瓶颈、减少io、跳过冗余、用对工具：优选awk一步完成匹配提取，善用fgrep/rg加速查找，用head/grep -c避免冗余读写，结合parallel/zgrep/xargs -p实现并行与压缩包直查，并通过-m、lc_all=c、精准分隔符保障快准稳。
处理百万行以上的大文本文件，关键不是“硬扛”，而是绕开瓶颈、减少IO、跳过冗余、用对工具。Linux本身不卡，卡的是你用错了命令或写法。
选对命令：别让grep干awk的活
很多同学一上来就grep "pattern" huge.log | awk '{print $1}'，看似顺，实则低效——grep先全扫描过滤，awk再逐行解析，两遍读取。更优解是：
- 用
awk '/pattern/ {print $1}' huge.log一步到位：匹配+提取一次完成，避免管道开销 - 纯字符串查找且不需正则时，用
fgrep（比grep -F更快）或ripgrep（rg，Rust写的，多核并行，默认忽略.git等目录） - 日志类结构化文本，优先用
awk -F' ' '{...}'或-F'['指定分隔符，避免默认空格分割的歧义
减少IO：跳过读取、跳过输出、跳过临时文件
大文件慢，80%因为反复读磁盘、写屏幕或生成中间文件。
- 用
head -n 100000 huge.log | grep "error"快速采样，别动不动cat huge.log | ... - 不需要看结果？加
> /dev/null；需要计数？直接grep -c "error" huge.log，不打印内容 - 避免
sed -i原地修改超大文件（会重写整个文件）；改用sed 's/old/new/' huge.log > huge_new.log && mv huge_new.log huge.log更可控
提速黑科技：并行+内存映射+预筛选
单核跑百万行是守旧，现代CPU多核不用白不用。
- 用
parallel切分任务：split -l 100000 huge.log part_ && parallel grep "timeout" part_* - 用
zgrep直接查压缩包（如access.log.gz），省了解压时间 - 结合
find+xargs -P $(nproc)批量处理多个大文件：find . -name "*.log" -size +100M -print0 | xargs -0 -P 4 -I{} grep -H "500" {}
实战小技巧：快准稳三连
真实运维中，快不是目的，准和稳才是。
- 加
-m 100限制最多匹配100行，防卡死：grep -m 100 "Failed" app.log - 用
LC_ALL=C grep强制C locale，避开UTF-8解析开销，提速2–5倍 - 查IP或数字字段？用
awk '$1 ~ /^[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+$/ {print}'比正则grep更稳更可读
基本上就这些。不复杂但容易忽略——真正拖慢你的，往往不是文件大小，而是那几条没加-m、没设LC_ALL=C、硬套管道的命令。
