Logrus JSON日志需规范配置才能被Logstash正确解析:统一时间格式、禁用caller、结构化error字段;Logstash输入必须设codec=>json,避免grok和重复解析;持久化sincedb防丢日志;字段名强类型约束防ES映射冲突。

Logrus 输出 JSON 格式日志但字段不被 Logstash 解析
Logrus 默认输出是纯文本,ELK(尤其是 Logstash)依赖结构化字段做解析和过滤,如果只调用 logrus.SetFormatter(&logrus.JSONFormatter{}) 却没关掉时间戳/调用栈的额外格式干扰,Logstash 会把整条日志当 message 字符串塞进去,level、time 等字段根本提不出来。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 必须设置
logrus.JSONFormatter{TimestampFormat: "2006-01-02T15:04:05.000Z"},否则 Logstash 的datefilter 无法匹配默认的 Go 时间格式 - 禁用
logrus.SetReportCaller(true),或者手动在JSONFormatter中设DisableCaller: true—— 否则caller字段是字符串(如"main.go:23"),Logstash 不会自动拆成file和line - 避免在日志里用
log.WithField("error", err).Error("failed")直接传error值:Logrus 会调err.Error(),但丢失类型和堆栈;改用log.WithField("error", logrus.Fields{"msg": err.Error(), "stack": debug.Stack()})或集成github.com/pkg/errors
Logstash 配置里 grok 失败,日志进不了 Elasticsearch
不是所有日志都适合用 grok —— Logrus JSON 日志本就是结构化的,硬套 grok 反而容易因空格、换行或嵌套字段崩掉。Logstash 默认对 stdin 或 file 输入走 text codec,会把 JSON 当普通字符串读,导致 json filter 解析失败。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 输入插件必须指定
codec => json,例如file { path => "/var/log/app/*.log" codec => json },否则json { source => "message" }永远失败 - 别在 filter 里重复解析:如果输入已经是 JSON,就不要加
json { source => "message" },它会尝试把已解析的对象再当字符串 parse,报Json parse error - 检查
elasticsearchoutput 的index名是否含大写字母或下划线 —— ES 7+ 要求小写+短横线,否则写入静默失败,日志卡在 Logstash pipeline 里
Go 应用重启后 Logstash 丢日志或重复消费
典型于用 file 输入插件监听日志文件时发生:Logstash 记录文件偏移量(sincedb)默认存在 /dev/null 或用户家目录,容器重启、权限变更或路径挂载变化都会让 sincedb 失效,导致跳过新内容或重读旧内容。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 显式配置
sincedb_path => "/var/log/logstash/.sincedb"并确保该路径持久化(如挂载为 volume),避免容器重建后丢失位点 - 若用
tail -f+exec输入,改用原生file插件 ——exec无状态、无偏移控制,极易漏日志 - 在 Go 侧启用日志轮转(如
lumberjack.Logger),并给 Logstash 配置start_position => "end"和ignore_older => 86400,防止轮转瞬间扫到大量历史文件
Logrus 字段名与 Kibana 字段类型冲突
Kibana 依赖 Elasticsearch 的 dynamic mapping 自动推断字段类型。Logrus 写入 duration: 123 是数字,但某次写成 duration: "123ms",ES 就会把整个 duration 字段定为 text 类型,后续数值聚合(如 avg、histogram)全部失效,且无法直接修改已有字段类型。
实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 所有业务字段统一用强类型:耗时存
duration_ms(int64,单位毫秒),错误码存error_code(int),状态存status(string)—— 避免同名字段混用类型 - 上线前在 Logstash filter 加
mutate { convert => { "duration_ms" => "integer" } },提前转换并丢弃非法值(配合remove_field) - 首次部署 ELK 时,手动定义 index template,明确声明
duration_ms: { "type": "long" },比依赖 dynamic mapping 更可靠
字段类型一旦写错,重索引成本高;与其事后补救,不如在 Logrus 打点那一步就卡死格式。很多团队卡在这儿不是因为不会配 Logstash,而是日志源头太随意。










