0

0

c# 高并发下的日志聚合方案 Serilog, OpenTelemetry 和 ELK

煙雲

煙雲

发布时间:2026-01-28 10:26:48

|

663人浏览过

|

来源于php中文网

原创

高并发下Serilog直连Elasticsearch易崩溃,应改用「Serilog→Filebeat→OpenTelemetry Collector→ELK」链路:Serilog写本地JSON文件,Filebeat采集,OTel Collector转换路由,ES专注存储检索。

c# 高并发下的日志聚合方案 serilog, opentelemetry 和 elk

高并发下 Serilog 直连 Elasticsearch 容易崩

Serilog 的 ElasticsearchSink 默认使用同步 HTTP 写入,每条日志都发一次请求,在 QPS 过千时会迅速拖垮线程池或触发连接池耗尽,常见错误是 System.Net.Http.HttpRequestException: Connection refused 或大量 TimeoutException。它不适合直连生产环境的 ES 集群。

实操建议:

  • 禁用 ElasticsearchSinkbatchPostingLimitperiod 默认值(它们太保守,反而加剧小包高频请求)
  • 改用 Serilog.Sinks.Async 包做外层缓冲,但仅限缓解,不能根治
  • 真正可行的是把 Serilog 当作“日志生产端”,只输出到本地文件或 Seq,再由独立采集器转发

OpenTelemetry .NET SDK 的日志导出需绕过 Serilog 原生集成

目前 OpenTelemetry.Exporter.OpenTelemetryProtocol 对日志(LogRecord)的支持仍属实验性,且 Serilog 本身不原生兼容 OTLP 日志协议。直接调用 AddOtlpExporter() 并不会捕获 Log.Information() 产生的日志——它只收 ActivityLogRecord(来自 ILogger 的结构化日志,且需启用 UseOpenTelemetryLoggerFactory)。

实操建议:

  • 若已用 Microsoft.Extensions.Logging,优先走 ILogger + AddOpenTelemetry() + AddOtlpExporter() 路径
  • 若强依赖 Serilog API(如 Log.Logger 全局实例),必须通过 Serilog.Sinks.OpenTelemetry(非官方第三方包)桥接,注意其 BatchExportIntervalMsMaxExportBatchSize 必须显式设大(例如 5000ms / 500 条)
  • 避免同时启用 Serilog 的 ConsoleSink 和 OTLP 导出,否则日志重复且上下文丢失

ELK 链路中 Logstash 不是高并发友好组件

Logstash 默认单进程、JVM 启动、内存占用高,在日志峰值超 10k EPS(Events Per Second)时 CPU 持续 90%+,pipeline.batch.delaypipeline.workers 调优收益有限。更严重的是,它对 JSON 字段嵌套过深(如 Serilog 的 @l, @mt, @x)解析慢,容易触发 json parse failure

Figma
Figma

Figma 是一款基于云端的 UI 设计工具,可以在线进行产品原型、设计、评审、交付等工作。

下载

实操建议:

  • Filebeat 替代 Logstash 做日志采集:轻量、Go 编写、支持背压、内置 ES 输出和 OTLP 输出插件
  • 若必须用 Logstash,关闭所有 filter(尤其 grok),只用 json codec 解析,并将 pipeline.batch.size 提高到 1000+
  • ES 端建索引时禁用 index.mapping.dynamic,预定义 log.level, log.eventId, trace_id 等字段类型,避免 mapping explosion

真正落地的聚合链路是「Serilog → Filebeat → OpenTelemetry Collector → ELK」

这条链路把职责切得干净:Serilog 只管高性能写本地 JSON 文件;Filebeat 负责可靠采集、节流、TLS 加密;OTel Collector 做统一转换(如补全 trace_id)、采样、路由;ES 只专注存储与检索。中间任何一环挂掉,上游都有缓冲(Filebeat spooling / OTel queue)。

关键配置点:

  • Serilog 输出格式必须为 CompactJsonFormatter(不是 JsonFormatter),否则 Filebeat 无法流式解析
  • Filebeat 的 output.opentelemetry 需指向 OTel Collector 的 otlphttp receiver(默认 http://localhost:4318/v1/logs
  • OTel Collector 的 exporters 要配 elasticsearch(而非 logging),并开启 routing 插件按 service.name 分索引

最易被忽略的是时间戳精度:Serilog 默认只写到毫秒,而 OTel Collector 和 ES 默认按纳秒处理,会导致日志在 Kibana 中排序错乱。必须在 Serilog 的 Enrich.WithProperty("timestamp", DateTimeOffset.UtcNow) 强制补全 ISO8601 格式带毫秒的字符串,或在 Filebeat pipeline 中用 date processor 覆盖 @timestamp

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

418

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

535

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

311

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

77

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

298

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

212

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1500

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

623

2023.11.24

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

22

2026.01.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.6万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号