使用bufio缓冲、批量读写和适度并发可显著提升Golang文件I/O性能，优先减少系统调用开销，大文件宜分块处理，小文件可一次性加载，合理预分配空间并控制并发数以避免资源耗尽。
在Golang中提升文件读写性能，关键在于合理选择I/O方式、减少系统调用开销以及利用缓冲机制。直接使用os.File进行逐字节或小块读写效率很低，尤其在处理大文件时。通过结合缓冲、批量操作和适当的并发策略，可以显著提高性能。
使用bufio进行缓冲读写
标准库中的bufio包能有效减少系统调用次数，是优化文件I/O的基础手段。
说明：每次磁盘或内核交互都有开销，通过缓冲将多次小写合并为一次系统调用，可大幅提升吞吐量。
- 使用
bufio.NewReader和bufio.NewWriter包装文件句柄 - 设定合理的缓冲区大小（如4KB~64KB），通常设为4096的倍数
- 写入后记得调用
Flush()确保数据落盘
buf.ReadString('\n')或scanner.Scan()比file.Read()快得多。
合理选择读取方式
根据文件大小和使用场景选择最合适的读取方法。
立即学习“go语言免费学习笔记（深入）”；
- 小文件（几MB以内）：直接用
ioutil.ReadFile一次性加载，简洁高效 - 大文件：使用
bufio.Scanner或Read循环分块读取，避免内存溢出 - 需要随机访问：考虑
os.File.Seek配合固定大小块读取
Scanner.Buffer()重新设置缓冲区。
批量写入与预分配
频繁的小量写入会严重拖慢性能，应尽量合并操作。
- 收集数据到
bytes.Buffer或切片后再统一写入 - 若知道文件大致大小，提前用
Truncate预分配空间，减少碎片和扩展开销 - 写大量小文件时，考虑合并写入或使用内存映射（mmap）
适度使用并发
对于多个独立文件的操作，可通过goroutine并行处理提升整体吞吐。
- 并发读写不同文件时，每个goroutine使用独立的文件句柄
- 控制并发数，避免打开过多文件导致资源耗尽
- 使用
sync.WaitGroup或errgroup协调任务生命周期
基本上就这些。关键是根据实际场景权衡缓冲、批量和并发的使用，避免过度设计。多数情况下，加上bufio和合理分块就能解决大部分性能问题。
