采用生产者-消费者模式，通过带缓冲channel解耦日志采集与处理，定义LogEntry结构体并启动多个worker并发处理，确保高效稳定。
构建一个Golang并发日志收集与处理系统，核心目标是高效、稳定地接收大量日志数据，并在不阻塞写入的前提下完成解析、过滤和输出。这类系统常见于监控平台、服务治理或审计场景。下面从结构设计到关键实现逐步说明。
1. 并发模型设计：生产者-消费者模式
使用多个goroutine作为生产者接收日志，一个或多个消费者负责处理。通过channel解耦输入与处理逻辑，避免IO阻塞影响采集性能。
- 定义日志结构体：type LogEntry struct { Timestamp time.Time; Level string; Message string; Source string }
- 创建带缓冲的channel：logChan := make(chan *LogEntry, 1000)，缓冲大小根据负载调整
- 启动多个消费者worker：for i := 0; i
2. 日志采集方式：支持多来源输入
系统应能从不同渠道获取日志，如本地文件、网络接口（HTTP/TCP）、标准输入等。
- 文件监听可用fsnotify库实时捕获新增行
- 提供HTTP端点接收JSON格式日志：http.HandleFunc("/log", handleLog)
- 每个采集源单独起goroutine运行，解析后发送至logChan
3. 处理流水线：可扩展的中间件链
将解析、过滤、转换等操作拆分为独立函数，便于组合和复用。
立即学习“go语言免费学习笔记（深入）”；
- 示例处理链：parseJSON → filterErrorOnly → addHostname → writeToES
- 使用函数类型构建管道：type Processor func(*LogEntry) *LogEntry
- 链式调用：依次执行各处理器，任一返回nil表示丢弃该条日志
4. 输出与错误处理
输出目标可能包括文件、数据库、Elasticsearch、Kafka等。需保证至少一次送达或明确失败策略。
- 异步写入外部系统，防止反压导致整个流程卡住
- 对失败日志进行重试或落盘暂存，避免数据丢失
- 记录内部指标（如吞吐量、延迟）用于监控健康状态
基本上就这些。关键是控制好goroutine数量，合理设置channel容量，加上超时和限流机制，系统就能在高并发下保持稳定。实际部署时建议配合Prometheus做指标暴露，方便排查瓶颈。
