Go通过goroutine并发发起HTTP Range请求实现多线程分块下载:先HEAD获取总大小,按字节范围切分,各goroutine用WriteAt写入对应偏移,channel汇总结果并支持断点续传。

支持多线程分块下载的核心思路
Go 本身没有内置“多线程”概念,但可通过 goroutine + HTTP Range 请求 实现并发下载。原理是将一个大文件按字节范围切分成多个片段(如 0-999999、1000000-1999999…),每个 goroutine 独立发起带 Range 头的 GET 请求,写入对应偏移位置的临时文件,最后合并或直接拼接到目标文件。
关键步骤与代码要点
需注意:服务端必须支持 Accept-Ranges: bytes,否则无法分片。可用 curl -I URL 检查响应头。
-
获取文件总大小:先发 HEAD 请求,读取
Content-Length响应头 -
计算分块策略:例如每块 5MB,共
ceil(total / chunkSize)个 goroutine -
并发请求 + 定位写入:每个 goroutine 打开文件(
os.OpenFile配合os.SEEK_SET),用file.WriteAt(data, offset)写入指定位置,避免竞态 - 错误与进度处理:用 channel 收集各段下载结果(成功/失败/耗时),主 goroutine 等待全部完成,失败可重试或报错退出
简易可运行示例(无第三方依赖)
以下为最小可行实现,支持断点续传基础逻辑(检查已存在文件并跳过已下载段):
func downloadPart(url string, start, end int64, dst *os.File, wg *sync.WaitGroup, errCh chan error) {
defer wg.Done()
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", start, end))
resp, err := http.DefaultClient.Do(req)
if err != nil {
errCh <- err
return
}
defer resp.Body.Close()
buf := make([]byte, 32*1024)
for {
n, rerr := resp.Body.Read(buf)
if n > 0 {
_, werr := dst.WriteAt(buf[:n], start)
start += int64(n)
if werr != nil {
errCh <- werr
return
}
}
if rerr == io.EOF {
break
}
if rerr != nil {
errCh <- rerr
return
}
}}
立即学习“go语言免费学习笔记(深入)”;
调用时创建目标文件(os.Create),预分配大小(f.Truncate(totalSize)),再启动多个 downloadPart goroutine 即可。
实用增强建议
生产环境可进一步优化:
- 添加超时控制:
http.Client{Timeout: 30 * time.Second} - 限制并发数:用带缓冲的 channel 或
semaphore控制 goroutine 数量(如最多 4 个并发) - 支持断点续传:下载前读取已有文件长度,只请求未完成区间
- 进度显示:用
github.com/vbauerster/mpb/v8等库绘制实时进度条










