Go并发网络请求需控制并发数,避免资源耗尽;推荐用带缓冲channel(如sem := make(chan struct{}, 10))作令牌池,发请求前获取令牌,完成后释放。

在 Go 中实现并发网络请求,核心是利用 goroutine + channel 或 sync.WaitGroup 控制并发执行,并合理管理超时、错误和资源。关键不是“开越多协程越好”,而是控制并发数、避免连接耗尽、统一处理失败。
控制并发数量,避免压垮服务或自身
直接为每个请求起一个 goroutine 容易失控(比如 1000 个 URL → 1000 个协程),可能触发 dial tcp: too many open files 或目标服务限流。推荐用带缓冲的 channel 作并发令牌池,或使用 semaphore 模式:
- 创建容量为 N 的 channel(如
sem := make(chan struct{}, 10)),每次发请求前先sem ,请求结束再 - 或用
golang.org/x/sync/semaphore包,更语义清晰:sem.Acquire(ctx, 1)/sem.Release(1) - 典型并发数建议 5–50,具体看目标接口响应时间与稳定性(慢接口宜更低)
用 WaitGroup 等待所有请求完成
如果只需等全部结果(不关心顺序),sync.WaitGroup 是最轻量的选择:
- 初始化
wg := &sync.WaitGroup{} - 每启动一个 goroutine 前调用
wg.Add(1) - goroutine 内部 defer
wg.Done() - 主 goroutine 调用
wg.Wait()阻塞等待全部结束 - 注意:不要在循环里直接传循环变量(如
for _, url := range urls { go func() { http.Get(url) }() }会闭包捕获错误的 url),应传参:go func(u string) { ... }(url)
统一收集结果与错误,支持超时控制
推荐用 channel 收集结果(含 error),配合 context.WithTimeout 为整个批次设总超时:
立即学习“go语言免费学习笔记(深入)”;
- 定义结果结构体:
type Result struct { URL string; Data []byte; Err error } - 启动 goroutine 时传入子 context:
ctx, cancel := context.WithTimeout(parentCtx, 5*time.Second),并在 HTTP client 中设置client := &http.Client{Timeout: 3 * time.Second} - 每个 goroutine 执行完向结果 channel 发送
Result{URL: u, Data: body, Err: err} - 主 goroutine 用
for i := 0; i 接收(可加 select 处理超时)
复用 HTTP Client,避免连接泄漏
全局复用一个 *http.Client 实例,而非每次 new —— 它自带连接池和重用机制:
- 设置
Transport参数提升并发能力:&http.Transport{MaxIdleConns: 100, MaxIdleConnsPerHost: 100, IdleConnTimeout: 30 * time.Second} - 避免手动关闭 response.Body(必须
defer resp.Body.Close()),否则连接无法复用 - 不用
http.DefaultClient在生产环境(它共享全局 Transport,易被其他模块干扰)










