0

0

c++中如何实现高性能的日志库? (异步写入技巧)

冰火之心

冰火之心

发布时间:2026-01-11 13:26:02

|

595人浏览过

|

来源于php中文网

原创

同步 std::ofstream 写日志拖慢主业务,因每次调用均触发磁盘 I/O 等待;应通过无锁环形缓冲区+独立写线程解耦日志生成与落盘,关闭流同步、避免

c++中如何实现高性能的日志库? (异步写入技巧)

为什么同步 std::ofstream 写日志会拖慢主业务?

因为每次 log.info("user login") 都触发一次磁盘 I/O,哪怕只是追加几十字节,也要等内核完成缓冲、刷盘、返回确认。在高并发场景下,线程可能卡在 write() 系统调用上几十毫秒,直接拉高 P99 延迟。

真正耗时的不是格式化字符串,而是 I/O 等待。所以核心思路是:把「日志内容生成」和「日志落盘」彻底解耦。

无锁环形缓冲区 + 独立写线程实现异步写入

不依赖第三方库(如 Boost.Lockfree),用 std::atomic 和内存序控制生产者/消费者边界,避免互斥锁成为瓶颈。

  • 生产者(业务线程)只做两件事:格式化日志到上 buffer,然后原子地 push 到环形队列 —— 这个操作通常在 100ns 级别
  • 消费者(单个专用线程)循环 pop 日志条目,批量 write 到 std::ofstream,并按需 rotate 文件
  • 环形缓冲区大小建议设为 216 ~ 218,太小容易丢日志,太大增加 cache miss
  • 必须处理缓冲区满的情况:if (queue.full()) { drop_count.fetch_add(1, std::memory_order_relaxed); return; },不能阻塞或重试

std::ofstream 的性能陷阱与绕过方式

默认构造的 std::ofstream 启用了 std::ios_base::sync_with_stdio(true),会和 C stdio 同步,带来额外开销;且每次 都检查流状态,频繁调用 write() 也触发多次系统调用。

立即学习C++免费学习笔记(深入)”;

行者AI
行者AI

行者AI绘图创作,唤醒新的灵感,创造更多可能

下载
  • 关闭同步:file.rdbuf()->pubsetbuf(nullptr, 0); file.imbue(std::locale::classic());
  • 避免用 拼接,改用 file.write(buf.data(), buf.size()) 直接写入已格式化好的 std::string_view
  • 启用 O_DIRECT(Linux)或 FILE_FLAG_NO_BUFFERING(Windows)需谨慎:它要求地址对齐、长度对齐,反而容易因小写入变慢;日常建议保持 page cache,靠内核延迟刷盘
  • 每写入 4KB~64KB 再 file.flush() 一次,比每条 flush 快 10x+

如何安全地在多线程中复用 std::string 缓冲区?

不能让多个线程共用同一个 std::string 实例去 format,否则需要锁;也不能每次都 new/delete —— 分配器竞争又成瓶颈。

推荐方案是每个线程绑定一个 TLS(thread_local)buffer:

thread_local static std::string tls_buffer;
tls_buffer.clear();
tls_buffer.reserve(512);
// ... 格式化进 tls_buffer
queue.push(tls_buffer.c_str(), tls_buffer.size());

注意:tls_buffer.c_str() 返回的是临时指针,必须在 push 时立即拷贝内容(比如 ring buffer 存的是 char* + size_t,内部 memcpy)。否则 TLS buffer 下次被覆盖,消费者读到的就是垃圾数据。

真正的难点不在“怎么异步”,而在“缓冲区满时丢哪条”“崩溃时未刷盘日志怎么 recovery”“rotate 期间写线程是否感知到新文件句柄”。这些细节不处理好,高性能就变成高风险。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

315

2023.08.02

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

731

2023.08.22

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

430

2024.06.27

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

253

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

206

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1463

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

616

2023.11.24

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

80

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7万人学习

Git 教程
Git 教程

共21课时 | 2.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号