bufio 包是为减少小数据频繁读写的系统调用开销而设的缓冲层,并非替代 io;Scanner 漏末行因 Scan() 返回 false 不代表读完,需每次 Scan 后立即取 Text() 或用 Bytes();Writer 需显式 Flush() 才写入磁盘;Scanner 与底层 Reader 混用会因预读导致偏移错乱。

Go 标准库的 bufio 包不是用来“替代” io 的,而是为解决小数据频繁读写带来的系统调用开销而设计的缓冲层。直接用 os.File.Read 或 Write 读一行或写一串文本,性能差、逻辑碎;但盲目套用 bufio.Scanner 或 bufio.Writer 也可能引发截断、丢数据、死锁等问题。
Scanner 读取时为什么经常漏掉最后一行?
bufio.Scanner 默认以 \n 为分隔符,且 Scan() 返回 false 时,不表示“已读完”,而是“无法再找到下一个完整分隔单元”。如果文件末尾没有换行符(比如最后一行是 "done" 而非 "done\n"),scanner.Text() 仍能拿到该行内容,但你若只在 Scan() 为 true 时处理,就会漏掉它。
- 正确做法:每次
Scan()后立即取scanner.Text(),哪怕下一次Scan()返回false - 更稳妥方式:检查
scanner.Err()是否为nil,并用scanner.Bytes()获取原始字节(避免 UTF-8 解码失败导致丢内容) - 注意
Scanner默认限制单行最大 64KB,超长会直接返回ErrTooLong;需提前调用scanner.Buffer(make([]byte, 4096), 1 手动扩容
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text() // 这里已包含当前行(不含\n)
process(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
// 不需要额外 check "last line" —— Scan() 已覆盖全部有效行
Writer 写入后内容没刷到磁盘?
bufio.Writer 是纯内存缓冲,Write() 只是拷贝进内部 []byte,不会触发系统调用。常见错误是忘记调用 Flush(),尤其在写完就 Close() 文件前——而 Close() 并不自动 Flush()(除非是 bufio.NewWriterSize(f, size) 包裹的 *os.File,且 f 是可写文件描述符,此时 Close 会 flush;但行为不可靠,不应依赖)。
- 每次写完关键数据(如日志行、协议帧)后,显式调用
w.Flush() - 若写入量大且对延迟不敏感,可增大缓冲区(如
bufio.NewWriterSize(f, 1)减少系统调用次数 - 不要混用
bufio.Writer和底层*os.File.Write()—— 缓冲区和文件偏移会错乱
w := bufio.NewWriter(outputFile) fmt.Fprintln(w, "header") fmt.Fprintln(w, "data line 1") w.Flush() // 必须加,否则可能滞留在内存
Scanner 和 Reader 混用会导致 panic 或跳过数据
bufio.Scanner 内部持有并管理一个 bufio.Reader,它会预读多字节(默认最多 4096 字节)来查找分隔符。如果你在同一个 io.Reader(比如 *os.File)上,先用 scanner.Scan(),又手动调用 file.Read(),那么 file.Read() 会从文件当前偏移读,而这个偏移已被 Scanner 的预读提前挪走了,结果就是读到“中间截断”的数据,甚至 io.EOF 提前返回。
立即学习“go语言免费学习笔记(深入)”;
- 一个 reader 实例只交给一个高层封装用:要么全用
Scanner,要么全用ReadLine()/ReadBytes(),要么自己用bufio.Reader控制预读 - 若必须混合(如解析 HTTP 响应头后读 raw body),应使用
scanner.Reader()拿到其内部*bufio.Reader,再用它的ReadSlice()或ReadBytes()继续读,确保偏移一致 - 切勿对同一文件句柄同时启两个
Scanner
缓冲的本质是时间换空间,或是空间换系统调用次数。Golang 的 bufio 接口干净,但它的“隐式预读”和“无自动刷盘”特性,恰恰是最容易在调试后期才暴露的问题——尤其当程序在本地跑得通,上线后偶发丢日志、卡住、解析错位时,第一反应不该是换第三方库,而是查 Flush() 调了没、Scanner 的 buffer 设够没、有没有偷偷绕过缓冲层直写 fd。










