0

0

c++如何利用协程实现一个异步文件读写器? (C++20 I/O)

冰火之心

冰火之心

发布时间:2026-01-09 16:40:03

|

634人浏览过

|

来源于php中文网

原创

C++20协程无法直接异步读写文件,因标准库无异步I/O;必须用线程池+可等待封装(如packaged_task或boost.asio)实现伪异步,注意线程安全与磁盘I/O瓶颈。

c++如何利用协程实现一个异步文件读写器? (c++20 i/o)

协程不能直接读写文件,std::filesystemstd::fstream 都是同步阻塞的

这是最关键的前置认知:C++20 标准库中没有提供任何异步 I/O 接口,std::ifstreamstd::ofstreamstd::fstream 全部是同步阻塞调用。哪怕你用 co_await 包裹它们的读写操作,协程也会在系统调用处挂起整个线程(即退化为“伪异步”),无法释放线程资源。

真正可行的路径只有一条:把阻塞 I/O 操作移交到线程池执行,并让协程等待其完成 —— 这本质是“协程 + 线程池”的组合模式,不是纯内核/IOCP/epoll 异步。

  • 不要试图给 std::fstream::read()co_await:它不是可等待类型,编译不过
  • std::jthreadstd::thread 可用于后台执行,但需配合 std::promise/std::futurestd::packaged_task 构造可等待对象
  • 若追求高性能或跨平台异步文件 I/O,必须依赖系统 API:io_uring(Linux)、OVERLAPPED+ReadFileEx(Windows)、或第三方库如 libuvboost.asio

std::packaged_task + 协程实现可等待的文件读取

核心思路是把同步读取封装成一个能返回 std::future 的任务,再通过自定义 awaiter 让协程能 co_await 它。

以下是最小可行示例(仅读取):

struct async_file_reader {
    std::string path;

    struct awaiter {
        std::future fut;
        bool await_ready() const noexcept { return fut.wait_for(std::chrono::seconds(0)) == std::future_status::ready; }
        void await_suspend(std::coroutine_handle<> h) const {
            std::thread([fut = std::move(const_cast(this)->fut), h]() mutable {
                auto result = fut.get();
                h.resume();
            }).detach();
        }
        std::string await_resume() { return fut.get(); }
    };

    auto operator co_await() {
        auto task = std::packaged_task{[path = this->path]() -> std::string {
            std::ifstream f(path, std::ios::binary);
            if (!f) throw std::runtime_error("open failed: " + path);
            std::string buf(std::istreambuf_iterator{f}, {});
            return buf;
        }};
        auto fut = task.get_future();
        std::thread(std::move(task)).detach();
        return awaiter{std::move(fut)};
    }
};

注意:await_suspend 中另起线程调用 resume() 是危险的(竞态),真实项目应使用线程安全的调度器(如单线程 event loop)或 std::execution::schedule(C++23)替代。

为什么不用 std::async?它和协程不兼容

std::async 返回的 std::future 不支持直接 co_await —— 它没有 await_ready/await_suspend/await_resume 成员函数。强行包装会触发未定义行为或编译失败。

Runwayml(AI painting)
Runwayml(AI painting)

Runway 平台的文本生成图像AI工具

下载
  • std::async 默认策略是 std::launch::deferred,首次 get() 才执行,无法满足“立即提交到后台”的需求
  • 即使设为 std::launch::async,也无法控制线程生命周期,容易导致 std::future 被销毁时线程仍在运行
  • 更严重的是:std::future::wait() 会阻塞当前线程,破坏协程“非阻塞挂起”的语义

真正生产可用的方案:用 boost::asio::thread_pool + 自定义 awaitable

Boost.Asio 提供了成熟线程池和 awaitable 封装能力,比手写更安全。关键点在于用 boost::asio::post 提交任务,并返回一个可等待对象:

template
auto post_to_pool(boost::asio::thread_pool& pool, Func&& f) {
    struct awaitable {
        boost::asio::thread_pool& pool;
        std::decay_t func;
        bool await_ready() const noexcept { return false; }
        void await_suspend(std::coroutine_handle<> h) const {
            boost::asio::post(pool, [h, f = std::move(func)]() mutable {
                std::move(f)();
                h.resume();
            });
        }
        void await_resume() const noexcept {}
    };
    return awaitable{pool, std::forward(f)};
}

然后这样用:

boost::asio::thread_pool pool(4);
co_await post_to_pool(pool, []{
    std::ofstream f("out.bin", std::ios::binary);
    f.write(data.data(), data.size());
});

这个模式可复用、线程安全、调度可控。但要注意:文件句柄在多线程间共享需加锁,且频繁小文件 I/O 仍可能成为瓶颈 —— 协程解决的是“等待”问题,不是“系统调用开销”问题。

最易被忽略的一点:异步文件读写真正的瓶颈往往不在用户代码,而在磁盘随机寻道、页缓存竞争、或 O_DIRECT 对齐要求。协程本身不加速磁盘,只帮你更优雅地组织等待逻辑。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1008

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

57

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

353

2025.12.29

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

478

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

143

2025.12.24

Java 并发编程高级实践
Java 并发编程高级实践

本专题深入讲解 Java 在高并发开发中的核心技术,涵盖线程模型、Thread 与 Runnable、Lock 与 synchronized、原子类、并发容器、线程池(Executor 框架)、阻塞队列、并发工具类(CountDownLatch、Semaphore)、以及高并发系统设计中的关键策略。通过实战案例帮助学习者全面掌握构建高性能并发应用的工程能力。

60

2025.12.01

promise的用法
promise的用法

“promise” 是一种用于处理异步操作的编程概念,它可以用来表示一个异步操作的最终结果。Promise 对象有三种状态:pending(进行中)、fulfilled(已成功)和 rejected(已失败)。Promise的用法主要包括构造函数、实例方法(then、catch、finally)和状态转换。

298

2023.10.12

html文本框类型介绍
html文本框类型介绍

html文本框类型有单行文本框、密码文本框、数字文本框、日期文本框、时间文本框、文件上传文本框、多行文本框等等。详细介绍:1、单行文本框是最常见的文本框类型,用于接受单行文本输入,用户可以在文本框中输入任意文本,例如用户名、密码、电子邮件地址等;2、密码文本框用于接受密码输入,用户在输入密码时,文本框中的内容会被隐藏,以保护用户的隐私;3、数字文本框等等。

394

2023.10.12

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

3

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 6.9万人学习

Git 教程
Git 教程

共21课时 | 2.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号