0

0

如何用Node.js流处理大文件上传与下载?

紅蓮之龍

紅蓮之龍

发布时间:2025-10-04 09:02:01

|

838人浏览过

|

来源于php中文网

原创

使用流处理大文件可避免内存溢出。1. 上传时用multer分块暂存,再通过fs.createReadStream读取并pipe到目标文件,最后删除临时文件;2. 下载时用fs.createReadStream创建读取流,设置响应头后pipe到res,实现分批传输;3. 增强稳定性需监听error事件,及时销毁流并释放资源。

如何用node.js流处理大文件上传与下载?

处理大文件上传与下载时,直接读取整个文件到内存会导致内存溢出。Node.js 的流(Stream)机制能有效解决这个问题,通过分块传输数据,实现高效、低内存占用的文件操作。

使用流处理大文件上传

前端上传大文件时,后端应避免一次性加载整个文件。利用 multer 中间件配合流式写入,可将文件分块保存到磁盘。

安装 multer:

npm install multer

示例代码:

const express = require('express');
const multer = require('multer');
const fs = require('fs');

const app = express();
const upload = multer({ dest: 'uploads/' }); // 临时存储目录

app.post('/upload', upload.single('file'), (req, res) => {
  const readStream = fs.createReadStream(req.file.path);
  const writeStream = fs.createWriteStream(`./final/${req.file.originalname}`);

  readStream.pipe(writeStream);

  writeStream.on('finish', () => {
    fs.unlinkSync(req.file.path); // 删除临时文件
    res.send('文件上传成功');
  });
});

说明:multer 将文件暂存本地,再通过可读流读取并用 pipe 导入可写流,逐块写入目标位置,避免内存压力。

使用流处理大文件下载

用户请求下载大文件时,不应使用 fs.readFile,而应创建可读流,通过 pipe 发送给响应对象。

杰易OA办公自动化系统6.0
杰易OA办公自动化系统6.0

基于Intranet/Internet 的Web下的办公自动化系统,采用了当今最先进的PHP技术,是综合大量用户的需求,经过充分的用户论证的基础上开发出来的,独特的即时信息、短信、电子邮件系统、完善的工作流、数据库安全备份等功能使得信息在企业内部传递效率极大提高,信息传递过程中耗费降到最低。办公人员得以从繁杂的日常办公事务处理中解放出来,参与更多的富于思考性和创造性的工作。系统力求突出体系结构简明

下载

示例代码:

app.get('/download/:filename', (req, res) => {
  const filename = req.params.filename;
  const filePath = `./files/${filename}`;

  fs.access(filePath, fs.constants.F_OK, (err) => {
    if (err) return res.status(404).send('文件不存在');

    const readStream = fs.createReadStream(filePath);
    res.setHeader('Content-Disposition', `attachment; filename="${filename}"`);
    res.setHeader('Content-Type', 'application/octet-stream');

    readStream.pipe(res);
  });
});

说明:设置合适的响应头后,将文件流通过 pipe 接入 HTTP 响应,数据分批发送,不占内存。

提升流处理稳定性

在实际应用中,需考虑错误处理和资源释放,确保服务健壮。

  • 监听流的 error 事件,防止崩溃
  • 下载失败时及时销毁流
  • 上传完成后清理临时文件

增强版下载示例:

readStream.on('error', (err) => {
  console.error('读取失败:', err);
  res.status(500).send('下载失败');
});
res.on('close', () => {
  readStream.destroy();
});

基本上就这些。用流处理大文件,核心是避免内存堆积,借助 pipe 实现高效管道传输,上传下载都能稳定运行。

相关专题

更多
什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

175

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

167

2025.12.18

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

706

2023.08.22

require的用法
require的用法

require的用法有引入模块、导入类或方法、执行特定任务。想了解更多require的相关内容,可以阅读本专题下面的文章。

455

2023.11.27

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

184

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

259

2023.10.25

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

517

2023.09.20

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

362

2023.07.18

ip地址修改教程大全
ip地址修改教程大全

本专题整合了ip地址修改教程大全,阅读下面的文章自行寻找合适的解决教程。

27

2025.12.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号