答案:使用Golang的goroutine和channel实现并发下载,通过分块文件并并发下载各块,利用channel协调任务分配与结果收集,最后合并文件。首先发送HEAD请求获取文件大小,确认服务器支持Range请求,然后将文件划分为固定大小的块,每个块由独立goroutine通过HTTP Range头下载,任务通过jobs通道分发,结果通过results通道返回,主协程收集结果并按序写入输出文件,确保并发安全与资源释放。

使用Golang的goroutine和channel构建并发下载文件的程序,核心思路是:将大文件切分成多个部分,每个部分由独立的goroutine并发下载,通过channel协调进度和错误,最后合并结果。
1. 设计并发下载的基本结构
先明确流程:
- 发起HEAD请求获取文件总大小
- 将文件按大小划分为多个块(例如每块1MB)
- 为每个块启动一个goroutine执行下载
- 使用channel接收完成状态或错误
- 所有块下载完成后合并成完整文件
2. 使用channel协调goroutine
定义任务结构体和结果通道:
type DownloadPart struct {
URL string
Start int64
End int64
Index int
}
type Result struct {
Index int
Data []byte
Error error
}
主函数中创建任务通道和结果通道:
立即学习“go语言免费学习笔记(深入)”;
jobs := make(chan DownloadPart, numParts) results := make(chan Result, numParts)
启动多个worker goroutine处理下载任务:
for w := 0; w < 4; w++ { // 启动4个并发worker
go func() {
for part := range jobs {
resp, err := http.Get(part.URL)
if err != nil {
results <- Result{Index: part.Index, Error: err}
continue
}
defer resp.Body.Close()
// 设置Range头下载指定字节范围
req, _ := http.NewRequest("GET", part.URL, nil)
req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", part.Start, part.End))
client := &http.Client{}
resp, err = client.Do(req)
if err != nil {
results zuojiankuohaophpcn- Result{Index: part.Index, Error: err}
continue
}
data, _ := io.ReadAll(resp.Body)
results zuojiankuohaophpcn- Result{Index: part.Index, Data: data}
}
}()}
3. 分配任务并收集结果
将文件分块并发送到jobs通道:
for i := 0; i < numParts; i++ {
start := int64(i) * chunkSize
end := start + chunkSize - 1
if end > fileSize-1 {
end = fileSize - 1
}
jobs <- DownloadPart{URL: fileURL, Start: start, End: end, Index: i}
}
close(jobs)
等待所有结果返回:
var parts = make([][]byte, numParts)
for i := 0; i < numParts; i++ {
result := <-results
if result.Error != nil {
log.Fatalf("下载失败: %v", result.Error)
}
parts[result.Index] = result.Data
}
4. 合并文件并清理
将分块数据按顺序写入目标文件:
out, _ := os.Create("output.bin")
defer out.Close()
for _, data := range parts {
out.Write(data)
}
注意:实际应用中应校验Content-Length和Accept-Ranges头,确保服务器支持分块下载。
基本上就这些。利用goroutine实现并行,用channel传递结果和错误,结构清晰且易于控制并发度。不复杂但容易忽略细节比如Range头格式和资源释放。










