0

0

如何使用Golang io.Copy复制文件与流_Golang io Copy示例

P粉602998670

P粉602998670

发布时间:2026-01-09 08:32:02

|

564人浏览过

|

来源于php中文网

原创

io.Copy 复制为空文件因未正确打开目标文件或源已到 EOF;须用 os.O_CREATE | os.O_WRONLY | os.O_TRUNC 打开目标,检查 io.Copy 返回的 n > 0 且 err == nil;大文件复制应先定位 I/O 瓶颈,再考虑用 io.CopyBuffer 自定义缓冲区。

如何使用golang io.copy复制文件与流_golang io copy示例

io.Copy 复制文件时为什么总是空文件?

因为 io.Copy 不会自动关闭目标文件,也不处理源文件读取失败后的状态。常见错误是打开目标文件用了 os.O_CREATE 但没加 os.O_WRONLYos.O_TRUNC,导致写入失败却无报错。更隐蔽的问题是:源文件句柄已到 EOF(比如被其他 goroutine 读过一遍),io.Copy 立即返回 0, nil,看起来“复制成功”实则没写入任何内容。

正确做法:

  • 源文件必须以只读方式打开,且确保 Seek(0, 0) 可用(如需多次复制)
  • 目标文件必须用 os.O_CREATE | os.O_WRONLY | os.O_TRUNC 打开
  • io.Copy 返回的 n, err 必须检查:err == niln > 0 才算有效复制

复制大文件时内存占用高怎么办?

io.Copy 默认使用 io.CopyBuffer 内部的 32KB 缓冲区,对 GB 级文件足够,但若遇到 I/O 延迟高或磁盘吞吐低的环境,小缓冲会导致系统调用频繁、CPU 耗高。此时不应盲目增大缓冲区,而应优先确认瓶颈是否在磁盘或文件系统(如 NFS 挂载点)。

可控优化方式:

立即学习go语言免费学习笔记(深入)”;

Mapify
Mapify

Mapify是由Xmind推出的AI思维导图生成工具,原名ChatMind

下载
  • 显式使用 io.CopyBuffer(dst, src, make([]byte, 1 设置 1MB 缓冲(注意:不能超过 1GB,否则分配失败)
  • 避免在循环中反复调用 io.Copy 复制多个小文件——改用 os.ReadDir + 单次 os.OpenFile 批量处理
  • 对 SSD 本地文件,32KB ~ 128KB 缓冲通常最优;对机械盘或网络存储,可试 512KB

复制 HTTP 响应体到文件为何常出 “use of closed network connection”?

典型场景是用 http.Get 获取资源后,直接把 resp.Body 传给 io.Copy,但忘记 defer resp.Body.Close() ——看似没问题,实则当 io.Copy 遇到网络中断或服务端提前断连时,底层连接会被关闭,后续再读就会触发该错误。

安全写法必须包含三要素:

  • context.WithTimeout 控制请求生命周期
  • io.Copy 后立即 resp.Body.Close()(不能 defer,因为要等 copy 完)
  • 检查 io.Copy 返回的 err:若为 net.ErrClosedio.ErrUnexpectedEOF,说明传输不完整
resp, err := http.DefaultClient.Do(req)
if err != nil {
    return err
}
defer resp.Body.Close() // 注意:这是对 resp 的 defer,不是对 Body 的

f, err := os.Create("out.bin")
if err != nil {
    return err
}
defer f.Close()

n, err := io.Copy(f, resp.Body)
if err != nil && err != io.EOF {
    return fmt.Errorf("copy failed: %w", err)
}
if n == 0 {
    return errors.New("no bytes copied, check HTTP status or network")
}

用 io.Copy 处理管道或标准输入时要注意什么?

os.Stdinos.Pipe 复制数据时,io.Copy 会在读到 EOF 后自然退出,但容易忽略两点:一是 os.Stdin 在终端中按 Ctrl+D 才发 EOF,脚本中若期望“读完就停”,需配合 bufio.Scanner;二是管道写端未关闭前,io.Copy 会一直阻塞。

典型陷阱:

  • 子进程通过 cmd.StdoutPipe() 获取 reader,但父进程未调用 cmd.Wait(),导致 pipe 写端悬空,io.Copy 永不返回
  • io.Copy(ioutil.Discard, r) 丢弃流时,若 r 是带超时的 net.Conn,可能因读超时返回 net.OpError,需区分处理
  • Linux 下从 /dev/stdin 复制时,若输入来自重定向(./a ),io.Copy 行为正常;但若来自管道(echo x | ./a),某些 shell 会提前关闭 fd,需加 os.Stdin.Stat() 判断是否为 pipe
实际项目里最常被忽略的是:**io.Copy 不校验数据完整性,也不保证原子性**。复制中途崩溃,目标文件就是半截垃圾。真要可靠,得自己加 checksum 或用 os.Rename 配合临时文件。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

177

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

226

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

336

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

208

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

388

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

194

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

189

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

191

2025.06.17

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

3

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 3.5万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号