Go语言可实现轻量可控的日志聚合：监听容器stdout/stderr流，用goroutine+bufio实时采集并注入容器元信息；结构化为LogEntry统一Schema；多路日志按时间戳优先队列排序后批量输出至控制台/文件/HTTP/gRPC；本地存储支持JSONL格式、lumberjack轮转及可靠性保障。
在 Go 语言中实现容器日志聚合，核心是统一采集、结构化处理、集中输出与持久化存储。不依赖外部 agent（如 Fluentd），纯 Go 可以构建轻量、可控的日志收集器，尤其适合嵌入到容器运行时或 sidecar 场景中。
监听容器标准流并实时捕获日志
每个容器进程的标准输出（stdout）和标准错误（stderr）是日志主要来源。Go 中可通过 os/exec.Cmd 启动容器命令，并用 io.Pipe 或直接绑定 cmd.StdoutPipe()/cmd.StderrPipe() 实时读取：
- 为每个容器启动独立 goroutine 持续读取 pipe，避免阻塞
- 使用
bufio.Scanner按行解析（注意大日志行可能被截断，可改用bufio.Reader.ReadLine()控制缓冲） - 添加容器元信息（如 ID、镜像名、启动时间）作为日志上下文，写入结构体而非原始字符串
结构化日志格式与统一 Schema
原始日志需标准化，便于后续过滤、检索和存储。推荐定义统一结构体：
type LogEntry struct {
Timestamp time.Time `json:"timestamp"`
ContainerID string `json:"container_id"`
Image string `json:"image"`
Stream string `json:"stream"` // "stdout" or "stderr"
Message string `json:"message"`
Level string `json:"level,omitempty"` // 可从 message 前缀或正则提取（如 "[ERROR]"）
}
建议在采集层就完成时间戳注入（用 time.Now()）、流类型标记、容器标识绑定，避免下游二次解析。
立即学习“go语言免费学习笔记（深入）”；
多路日志合并与时间有序输出
多个容器日志需按时间戳全局排序后输出（尤其用于调试或审计）。可行方案：
- 使用优先队列（如
container/heap）缓存待输出日志项，按Timestamp排序 - 启用小批量 flush：每 100ms 或积满 100 条触发一次合并排序 + 输出，平衡实时性与性能
- 输出目标可同时支持：控制台（开发调试）、文件（本地归档）、HTTP endpoint（转发至 Loki/Elasticsearch）、gRPC 流（对接中心化 collector）
轻量级本地存储与轮转策略
若需暂存或离线分析，可用 Go 原生支持的文件操作实现可靠本地落盘：
- 按日期或大小切分日志文件（如
logs/2024-06-15/container-a.jsonl） - 使用
lumberjack.Logger（第三方但极简）自动轮转，设置MaxSize（如 100MB）、MaxBackups（如 7）、MaxAge（如 30天） - 每条日志以 JSONL（每行一个 JSON 对象）格式写入，方便后续用
jq、Logstash 或 ClickHouse 直接导入
不复杂但容易忽略的是日志采集的可靠性：确保 pipe 关闭时 goroutine 安全退出、panic 有 recover、磁盘满时降级到内存缓冲或丢弃（带告警）。结构清晰、职责分离的 Go 组件，足以支撑中小规模容器环境的日志聚合需求。
