0

0

c++中如何实现高性能的日志库? (异步写入技巧)

冰火之心

冰火之心

发布时间:2026-01-11 13:26:02

|

595人浏览过

|

来源于php中文网

原创

同步 std::ofstream 写日志拖慢主业务,因每次调用均触发磁盘 i/o 等待;应通过无锁环形缓冲区+独立写线程解耦日志生成与落盘,关闭流同步、避免

c++中如何实现高性能的日志库? (异步写入技巧)

为什么同步 std::ofstream 写日志会拖慢主业务?

因为每次 log.info("user login") 都触发一次磁盘 I/O,哪怕只是追加几十字节,也要等内核完成缓冲、刷盘、返回确认。在高并发场景下,线程可能卡在 write() 系统调用上几十毫秒,直接拉高 P99 延迟。

真正耗时的不是格式化字符串,而是 I/O 等待。所以核心思路是:把「日志内容生成」和「日志落盘」彻底解耦。

无锁环形缓冲区 + 独立写线程实现异步写入

不依赖第三方库(如 Boost.Lockfree),用 std::atomic 和内存序控制生产者/消费者边界,避免互斥锁成为瓶颈。

  • 生产者(业务线程)只做两件事:格式化日志到上 buffer,然后原子地 push 到环形队列 —— 这个操作通常在 100ns 级别
  • 消费者(单个专用线程)循环 pop 日志条目,批量 write 到 std::ofstream,并按需 rotate 文件
  • 环形缓冲区大小建议设为 216 ~ 218,太小容易丢日志,太大增加 cache miss
  • 必须处理缓冲区满的情况:if (queue.full()) { drop_count.fetch_add(1, std::memory_order_relaxed); return; },不能阻塞或重试

std::ofstream 的性能陷阱与绕过方式

默认构造的 std::ofstream 启用了 std::ios_base::sync_with_stdio(true),会和 C stdio 同步,带来额外开销;且每次 都检查流状态,频繁调用 <code>write() 也触发多次系统调用。

Favird No-Code Tools
Favird No-Code Tools

无代码工具的聚合器

下载

立即学习C++免费学习笔记(深入)”;

  • 关闭同步:file.rdbuf()->pubsetbuf(nullptr, 0); file.imbue(std::locale::classic());
  • 避免用 拼接,改用 <code>file.write(buf.data(), buf.size()) 直接写入已格式化好的 std::string_view
  • 启用 O_DIRECT(Linux)或 FILE_FLAG_NO_BUFFERING(Windows)需谨慎:它要求地址对齐、长度对齐,反而容易因小写入变慢;日常建议保持 page cache,靠内核延迟刷盘
  • 每写入 4KB~64KB 再 file.flush() 一次,比每条 flush 快 10x+

如何安全地在多线程中复用 std::string 缓冲区?

不能让多个线程共用同一个 std::string 实例去 format,否则需要锁;也不能每次都 new/delete —— 分配器竞争又成瓶颈。

推荐方案是每个线程绑定一个 TLS(thread_local)buffer:

thread_local static std::string tls_buffer;
tls_buffer.clear();
tls_buffer.reserve(512);
// ... 格式化进 tls_buffer
queue.push(tls_buffer.c_str(), tls_buffer.size());

注意:tls_buffer.c_str() 返回的是临时指针,必须在 push 时立即拷贝内容(比如 ring buffer 存的是 char* + size_t,内部 memcpy)。否则 TLS buffer 下次被覆盖,消费者读到的就是垃圾数据。

真正的难点不在“怎么异步”,而在“缓冲区满时丢哪条”“崩溃时未刷盘日志怎么 recovery”“rotate 期间写线程是否感知到新文件句柄”。这些细节不处理好,高性能就变成高风险。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1010

2023.08.02

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

846

2023.08.22

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

887

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

461

2024.06.27

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 10.5万人学习

Git 教程
Git 教程

共21课时 | 4.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号