如何做一个Golang文件分片上传系统_Golang分片合并与校验逻辑-Golang-PHP中文网

如何做一个Golang文件分片上传系统_Golang分片合并与校验逻辑

P粉602998670

发布： 2025-12-23 20:20:44

原创

703人浏览过

分片上传：客户端按5MB切分文件，携带文件名、序号、总数、唯一ID等元信息通过HTTP POST逐片上传，支持断点续传与大文件传输。

如何做一个golang文件分片上传系统_golang分片合并与校验逻辑

实现一个可靠的 Golang 文件分片上传系统，关键在于分片上传、服务端接收、分片合并与完整性校验这几个环节。整个流程要支持大文件传输、断点续传和防止数据损坏。下面从核心逻辑出发，说明如何设计和实现。

1. 分片上传：客户端切分并上传小块

客户端将大文件按固定大小（如 5MB）切分成多个片段，每个片段独立上传，避免单次请求过大或失败后重传全部内容。

关键步骤：

打开源文件，使用 os.Open 获取文件句柄
通过 file.Stat() 获取文件总大小
按设定的分片大小（例如 5 * 1024 * 1024 字节）循环读取并上传
每一片携带元信息：文件名、分片序号、总片数、唯一文件标识（如 MD5 或 UUID）
使用 HTTP POST 逐个发送到服务端接口（如 /upload/chunk）

示例代码片段（客户端）：

立即学习“go语言免费学习笔记（深入）”；

const chunkSize = 5 << 20 // 5MB
<p>file, _ := os.Open("large-file.zip")
defer file.Close()</p><p>fi, _ := file.Stat()
totalSize := fi.Size()
uuid := generateFileID() // 可基于文件路径+时间生成唯一 ID</p><p>for i := 0; ; i++ {
chunk := make([]byte, chunkSize)
n, err := file.Read(chunk)
if n <= 0 {
break
}</p><pre class='brush:php;toolbar:false;'>// 发送第 i 片
uploadChunk(uuid, i, chunk[:n], totalSize)

登录后复制

}

Linfo.ai

Linfo AI 是一款AI驱动的 Chrome 扩展程序，可以将网页文章、行业报告、YouTube 视频和 PDF 文档转换为结构化摘要。

151

查看详情

2. 服务端接收分片并暂存

服务端需要提供一个接收分片的接口，把每个上传的片段保存到临时目录，并记录状态，以便后续合并。

处理逻辑：

接收字段：file_id、chunk_index、total_chunks、data
创建临时目录：tmp/{file_id}/chunks/
将分片数据写入对应文件：{chunk_index}.part
维护一个状态文件或内存映射，记录该 file_id 已收到哪些分片
返回成功状态，客户端可继续下一片

Go 服务端接收示例（使用 Gin）：

func handleUploadChunk(c *gin.Context) {
    fileID := c.PostForm("file_id")
    indexStr := c.PostForm("chunk_index")
    chunkIndex, _ := strconv.Atoi(indexStr)
    data, _ := c.FormFile("data")
<pre class='brush:php;toolbar:false;'>src, _ := data.Open()
defer src.Close()

dir := filepath.Join("tmp", fileID, "chunks")
os.MkdirAll(dir, 0755)

destPath := filepath.Join(dir, fmt.Sprintf("%d.part", chunkIndex))
dest, _ := os.Create(destPath)
io.Copy(dest, src)
dest.Close()

// 更新已接收分片列表（可用 map 或 Redis）
recordReceivedChunk(fileID, chunkIndex)

c.JSON(200, gin.H{"success": true})

登录后复制

}

3. 分片合并：所有片段到位后拼接成完整文件

当服务端检测到某个文件的所有分片都已上传，即可触发合并操作。

合并流程：

检查该 file_id 的 total_chunks 是否全部存在
按序号从小到大依次读取 .part 文件
写入目标文件（如 uploads/{file_id}.zip）
合并完成后清理临时分片目录

合并代码示例：

func mergeChunks(fileID string, total int, outputPath string) error {
    outFile, err := os.Create(outputPath)
    if err != nil {
        return err
    }
    defer outFile.Close()
<pre class='brush:php;toolbar:false;'>for i := 0; i < total; i++ {
    chunkPath := filepath.Join("tmp", fileID, "chunks", fmt.Sprintf("%d.part", i))
    chunkData, err := os.ReadFile(chunkPath)
    if err != nil {
        return err
    }
    outFile.Write(chunkData)
}

// 合并成功后删除临时文件
os.RemoveAll(filepath.Join("tmp", fileID))
return nil

登录后复制

}

4. 校验逻辑：确保文件完整性

为防止传输过程中数据出错，必须进行校验。常用方式有：

上传前计算原始文件哈希（如 SHA256），随第一个分片或单独参数传给服务端
合并完成后重新计算目标文件的哈希值
对比两个哈希是否一致，不一致则标记失败
也可在每个分片中附带其自身的校验码（如 CRC32），用于分片级验证

校验代码示意：

func calculateSHA256(filePath string) (string, error) {
    f, err := os.Open(filePath)
    if err != nil {
        return "", err
    }
    defer f.Close()
<pre class='brush:php;toolbar:false;'>h := sha256.New()
io.Copy(h, f)
return hex.EncodeToString(h.Sum(nil)), nil

登录后复制

}

// 使用方式 originalHash := getOriginalHashFromClient() // 客户端传入 mergedPath := "uploads/" + fileID + ".zip" actualHash, _ := calculateSHA256(mergedPath)

if originalHash != actualHash { return errors.New("文件校验失败，数据不一致") }

基本上就这些。构建完整的系统时，可以加入 Redis 记录上传状态、支持断点续传查询已有分片、前端展示进度条等功能。核心是分片可靠、合并有序、结果可验。整个流程在 Golang 中实现高效且稳定，适合大文件场景。

以上就是如何做一个Golang文件分片上传系统_Golang分片合并与校验逻辑的详细内容，更多请关注php中文网其它相关文章！