流是Node.js中高效处理大数据的核心机制，通过分块读写避免内存溢出。它包含Readable、Writable、Duplex和Transform四种类型，适用于大文件上传、日志分析等场景。使用fs.createReadStream与pipe可实现文件复制；Transform流能加工数据，如转大写；stream.pipeline则简化了错误处理与资源清理，确保数据流动稳定高效。
在服务端使用 JavaScript 进行 Stream 流处理，是 Node.js 中高效处理大量数据的核心机制。它允许你以“流动”的方式读取或写入数据，而不是一次性加载整个内容到内存中，特别适合处理大文件、网络请求、日志流等场景。
什么是 Stream？
Stream 是一种抽象的数据流接口，在 Node.js 中被广泛用于处理 I/O 操作。它继承自 EventEmitter，可以按需分段读取或写入数据。常见的流类型包括：
- Readable：可读流（如文件读取、HTTP 请求体）
- Writable：可写流（如文件写入、HTTP 响应）
- Duplex：双工流（既可读又可写，如 TCP 套接字）
- Transform：转换流（对数据进行加工，如压缩、加密）
通过流式处理，你可以避免内存溢出问题，提升应用性能和响应速度。
常见应用场景
以下是一些典型的流处理用例：
立即学习“Java免费学习笔记（深入）”；
- 上传大文件时边接收边写入磁盘，而不是等待全部接收完成
- 从数据库导出大量数据并实时输出为 CSV 文件
- 对日志文件进行实时分析或转发
- 图片或视频处理中的管道操作（如缩放、转码）
例如，使用 fs.createReadStream 和 fs.createWriteStream 实现文件复制：
const fs = require('fs');
const readStream = fs.createReadStream('large-file.mp4');
const writeStream = fs.createWriteStream('copy.mp4');
readStream.on('data', (chunk) => {
console.log(`Received ${chunk.length} bytes`);
});
readStream.on('end', () => {
console.log('Read complete');
});
readStream.pipe(writeStream); // 使用 pipe 自动处理背压
如何控制流的行为
流的高效运行依赖于正确的事件监听与流量控制。常用方法包括：
- .pipe()：连接可读流与可写流，自动管理数据流动（推荐方式）
- 监听 'data' 事件：手动消费数据块（旧模式，需注意背压）
- 监听 'error' 和 'end'：确保异常处理和资源释放
对于需要转换数据的情况，可以使用 Transform 流：
const { Transform } = require('stream');
const upperCaseTransform = new Transform({
transform(chunk, encoding, callback) {
callback(null, chunk.toString().toUpperCase());
}
});
process.stdin.pipe(upperCaseTransform).pipe(process.stdout);
这段代码将标准输入的内容转为大写后输出，形成一个简单的数据处理管道。
错误处理与资源清理
流操作中必须妥善处理错误，防止内存泄漏或程序崩溃：
- 始终监听 'error' 事件
- 在结束时关闭文件描述符或释放资源
- 使用 pipeline 工具函数自动处理错误和清理
Node.js 提供了 stream.pipeline 来简化流链路管理：
const { pipeline } = require('stream');
const zlib = require('zlib');
pipeline(
fs.createReadStream('input.txt'),
zlib.createGzip(),
fs.createWriteStream('output.txt.gz'),
(err) => {
if (err) console.error('Pipeline failed:', err);
else console.log('Success');
}
);
基本上就这些。掌握流的关键在于理解其异步、分块、低内存占用的特点，并合理使用 pipe 和 pipeline 构建稳定的数据通道。
