日志丢失的根本原因是多goroutine并发写同一文件时write(2)系统调用非原子性导致offset与数据写入交错。解决方案包括:用channel聚合+单goroutine落盘、io.MultiWriter统一输出、或采用高并发友好的zap.Logger。

goroutine 中直接写文件为什么日志会丢失
多个 goroutine 并发调用 os.File.Write 或 log.Println 写同一个文件时,日志内容可能被截断、错乱甚至完全丢失。根本原因不是 Go 语言本身不安全,而是底层系统调用 write(2) 在无同步机制下不保证原子性——尤其当多线程/协程同时写入同一文件描述符时,offset 更新和实际写入可能交错。
常见错误现象包括:
- 日志行被截断(如
"task-123 finished"变成"task-12") - 两行日志粘连(
"task-1 finishedtask-2 started") - 部分 goroutine 的日志完全没出现
解决思路不是“加个 sync.Mutex 就完事”,而要区分场景:如果只是临时调试,用带锁的全局 *log.Logger 即可;如果面向生产,应避免所有 goroutine 直接 IO,改用 channel 聚合后单 goroutine 落盘。
用 channel + 单 writer goroutine 安全汇总日志
这是最轻量又可靠的模式:每个任务通过 channel 发送日志消息,由一个专属 goroutine 顺序写入文件。既规避了并发写冲突,又不会因锁竞争拖慢业务逻辑。
立即学习“go语言免费学习笔记(深入)”;
关键设计点:
- channel 类型建议用结构体(而非字符串),便于携带时间戳、goroutine ID、等级等元信息
- channel 需设缓冲(如
make(chan LogEntry, 1000)),防止日志突发时阻塞业务 goroutine - writer goroutine 应监听
ctx.Done(),确保程序退出前 flush 缓存
type LogEntry struct {
Time time.Time
Level string
Message string
TaskID string
}
func startLogWriter(ctx context.Context, logFile *os.File) {
ch := make(chan LogEntry, 1000)
go func() {
defer logFile.Close()
for {
select {
case entry := <-ch:
fmt.Fprintf(logFile, "[%s] [%s] [%s] %s\n",
entry.Time.Format("2006-01-02 15:04:05"),
entry.Level,
entry.TaskID,
entry.Message)
case <-ctx.Done():
return
}
}
}()
// 全局变量或注入到各任务中
globalLogCh = ch
}
log.SetOutput 配合 io.MultiWriter 实现多目标输出
若需同时输出到文件 + 控制台 + 网络(如 Loki),不要为每个目标起 goroutine,而是利用 io.MultiWriter 将多个 io.Writer 合并为一个,再交给标准 log 包统一处理。这样所有写入仍走同一调用路径,天然串行。
注意点:
-
os.Stdout和*os.File都是线程安全的,但组合后是否安全取决于下游 Writer 实现——所以仍推荐只用于「只读」终端和「单 writer」文件 - 若某个 Writer(如网络 client)可能阻塞,它会拖慢整个日志链路,此时必须拆出独立 goroutine 处理该 Writer
- 避免在
MultiWriter中混入非线程安全的自定义 Writer(如未加锁的 bytes.Buffer)
file, _ := os.OpenFile("app.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
multi := io.MultiWriter(os.Stdout, file)
log.SetOutput(multi)
// 此后所有 log.Print* 调用都会同时写 stdout 和 filezap.Logger 为何更适合高并发日志场景
标准库 log 在高并发下性能瓶颈明显:每次调用都触发反射获取调用栈、格式化字符串、加锁写入。而 zap 通过预分配内存、跳过调用栈、结构化编码等手段,吞吐量可提升 10 倍以上。
使用要点:
- 务必用
zap.NewProduction()或zap.NewDevelopment()创建实例,别用zap.NewExample()(无实际输出) - 结构化字段(
logger.Info("task finished", zap.String("task_id", id)))比拼接字符串更高效且利于后续解析 - 若需按 task ID 聚合日志,可在 logger 实例上绑定
With(zap.String("task_id", id)),后续所有日志自动携带该字段
真正容易被忽略的是:zap.Logger 本身是并发安全的,但它的 Sync() 方法必须显式调用才能刷盘——尤其在程序退出前,否则最后一段日志可能丢失。










