首页 > 运维 > linux运维 > 正文

Linux 如何合并多个文本文件?cat/sed/awk 实用技巧

尊渡假赌尊渡假赌尊渡假赌
发布: 2025-12-05 22:01:26
原创
659人浏览过
Linux合并文本文件首选cat,需去重用awk '!seen[$0]++',去空行加NF,跳过头尾用sed或head/tail,加行号或文件标识用awk的FILENAME/NR变量。

linux 如何合并多个文本文件?cat/sed/awk 实用技巧

Linux 合并多个文本文件最直接的方法是用 cat,但实际场景中常需去重、去空行、加序号、跳过头部/尾部、按条件筛选——这时 sedawk 就派上用场了。下面整理几类高频需求的实用写法,不讲原理,只给能立刻跑通的命令。

基础合并:cat 最常用也最可靠

把 file1.txt、file2.txt、file3.txt 顺序拼成 all.txt:

cat file1.txt file2.txt file3.txt > all.txt

合并当前目录下所有 .log 文件(按字母序):

cat *.log > merged.log

注意:通配符展开顺序依赖文件名排序,如需指定顺序,显式列出或用 find + sort 控制。

合并时去重且保持顺序:awk '!seen[$0]++'

多个文件内容有重复行,想合并后每行只保留首次出现的一次(原顺序不变):

awk '!seen[$0]++' file1.txt file2.txt file3.txt > unique.txt

  • 这个写法比 sort -u 更轻量,不改变原始行序
  • 若要去除空白行再合并去重:awk 'NF && !seen[$0]++' *.txt
  • 区分大小写;如需忽略大小写,改用 awk 'NF && !seen[tolower($0)]++'

合并时跳过每文件的前 N 行或末 N 行

比如每个日志文件开头都有 3 行头信息,不想合并进去:

Winston AI
Winston AI

强大的AI内容检测解决方案

Winston AI 138
查看详情 Winston AI

sed '1,3d' file1.txt file2.txt | awk 'NF' > clean.log

如果要跳过每个文件的最后 2 行(适合去掉 footer):

for f in *.txt; do head -n -2 "$f"; done | awk 'NF' > no_footer.log

  • head -n -2 表示除最后两行外全部输出
  • awk 'NF' 过滤掉空行,比 grep '.' 更稳妥(能处理纯空格行)
  • 避免用 tail -n +4 直接处理多文件,它对每个文件独立计数但 cat 后会混在一起

合并并添加行号/文件标识:awk 实现灵活标记

想看出某行来自哪个文件,或加全局序号便于追踪:

awk '{print FILENAME ":" NR ": " $0}' file1.txt file2.txt > labeled.txt

只在每文件开头加个分隔线:

awk 'FNR==1{print "\n=== " FILENAME " ==="} {print}' *.conf > full.conf

  • FILENAME 是当前文件名,FNR 是当前文件内行号,NR 是总行号
  • 想加全局连续行号:awk '{print NR ": " $0}' *.txt
  • 合并时统一补前缀(如日志时间戳):awk '{print "[2024-06-15] " $0}' *.log

基本上就这些。cat 负责“搬”,sed 负责“剪裁”,awk 负责“标记+逻辑”。不用死记,遇到具体需求,先想清楚要删什么、留什么、标什么,再挑对应工具组合就行。

以上就是Linux 如何合并多个文本文件?cat/sed/awk 实用技巧的详细内容,更多请关注php中文网其它相关文章!

相关标签:
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号