0

0

Linux 日志收集与集中管理实践

冷炫風刃

冷炫風刃

发布时间:2026-02-22 20:47:59

|

469人浏览过

|

来源于php中文网

原创

rsyslog tls转发收不到日志因证书验证失败静默丢弃,需检查$defaultnetstreamdrivercafile路径权限及必配$actionqueue参数;filebeat匹配容器日志需确认docker log-driver及真实路径;logstash timestamp偏差8小时因date插件未设timezone;es写入慢应优先调大bulk队列而非仅改refresh_interval。

linux 日志收集与集中管理实践

rsyslog 配置远程转发时收不到日志?检查 $ActionQueue$DefaultNetstreamDriverCAFile

默认配置下,rsyslog 启用 TLS 转发时会因证书验证失败静默丢弃日志,而不是报错。现象是客户端没报错、服务端收不到任何日志,journalctl -u rsyslog 里也看不到明显提示。

  • 确认是否启用了 $DefaultNetstreamDriverCAFile:如果指定了 CA 文件但路径错误或权限不对(比如非 root 可读),连接直接失败且不重试
  • TLS 模式下必须配 $ActionQueue 系列参数,否则高并发日志会阻塞主线程并丢弃——常见漏配项:$ActionQueueFileName$ActionQueueMaxDiskSpace$ActionQueueSaveOnShutdown
  • 测试连通性别只用 telnet:它不走 TLS;改用 openssl s_client -connect <code>server:6514 -CAfile /path/to/ca.pem

用 filebeat 收集容器日志,paths 匹配不到 /var/lib/docker/containers/*/*.log

容器日志路径在不同宿主机上可能被挂载到别处,或被 systemd-journald 接管后根本不在文件系统暴露。硬写绝对路径大概率失效。

.net全诚外卖通之预订版
.net全诚外卖通之预订版

预订版是外卖通系列软件之一,此版本和专业外卖版不一样,专业预订版侧重于餐饮业在线预订的实现。平台为用户提供大量的餐饮数据,由于人们对吃的要求苛刻与不通,用户不用在为去哪里吃饭而发愁,用户可以通过平台筛选就餐目标,然后执行预订操作;平台作为就餐者和商家的介质,从平台预订的可以享受一定的折扣,消费者同样可以从预订结果中获得一定的积分收入;同样,和外卖版一样,集成了短信通知、广告管理、专题管理、推广、多

下载
  • 先查真实日志位置:docker inspect <code>container_id | grep LogPath,或看 /etc/docker/daemon.json 中的 log-driver 设置
  • 若用 journald 驱动,filebeat 无法直接读文件——得换 systemd 输入插件,或让 docker 切回 json-file
  • paths 中的通配符不支持递归匹配(**),/var/lib/docker/containers/*/ 是对的,/var/lib/docker/containers/**/*.log 会忽略

ELK 中 timestamp 字段总是比实际晚 8 小时?重点看 date 过滤器的 timezone

Logstash 的 date 插件默认按 UTC 解析时间字符串,但日志里常带本地时区偏移(如 "2024-04-10T14:23:01+0800")。如果配置里没显式指定 timezone,它可能误判为 UTC 时间再转成 @timestamp,结果就差 8 小时。

  • 确保 date 插件中 match 对应的格式串和日志时间字符串完全一致,包括毫秒、时区符号(Z+0800
  • 显式加 timezone => "Asia/Shanghai",而不是依赖系统时区——Logstash 进程的 TZ 环境变量不影响该字段解析逻辑
  • 验证方式:在 filter 中临时加 ruby { code => 'puts event.get("@timestamp")' },看输出是否符合预期

日志量大时 Elasticsearch 写入变慢甚至超时?别只调 refresh_interval

单纯把 refresh_interval1s 改成 30s,对吞吐提升有限,还可能让搜索延迟不可控。真正卡点常在 bulk 请求队列和 segment 合并压力上。

  • 检查 _nodes/stats/thread_poolbulk 队列长度和拒绝数,若频繁 reject,优先调大 thread_pool.bulk.queue_size(默认 200)
  • 避免单次 bulk 太大(如 >10MB)或文档数太多(如 >1000 条):filebeat 的 bulk_max_sizebulk_queue_size 得配合 ES 的 http.max_content_length(默认 100MB)
  • segment 合并不是瓶颈?关掉 index.merge.scheduler.max_thread_count(设为 1)反而可能更稳——尤其在机械盘或低配节点上
实际部署时,最常被跳过的一步是验证日志端到端时间戳一致性:从应用写入、采集器读取、传输解码、到 ES 存储,每个环节都可能悄悄做一次时区转换或截断。不逐层打日志比对,光看最终结果很容易以为“已经好了”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

443

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

616

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

217

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1557

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

642

2023.11.24

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1030

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.5万人学习

Git 教程
Git 教程

共21课时 | 3.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号