流式数据处理通过分块处理提升性能，核心包括Readable、Writable、Transform流及pipe方法，广泛应用于Node.js与浏览器中，如fetch响应处理与大文件复制，需关注背压与错误处理。
流式数据处理在JavaScript中主要用于高效处理大量数据，尤其是在内存受限或数据持续到达的场景下。它通过将数据拆分成小块（chunks）逐步处理，避免一次性加载全部内容，从而提升性能和响应速度。
什么是数据流
数据流是一种以顺序方式处理数据的模式，数据被分割为连续的小片段，在管道中逐段传递和处理。在JavaScript中，这种机制常见于Node.js环境，也逐渐被浏览器支持。
核心概念包括：
- Readable Stream：可读数据源，例如文件读取、网络请求响应
- Writable Stream：可写入的目标，如写入文件或输出到控制台
- Transform Stream：既能读又能写的中间处理器，常用于转换数据格式
- Pipe：连接流的标准方法，source.pipe(transform).pipe(destination)
浏览器中的流式处理
现代浏览器通过 Streams API 提供原生支持，可用于处理fetch请求返回的响应体。
立即学习“Java免费学习笔记（深入）”；
示例：逐步读取网络响应数据
fetch('/large-data.json')
.then(response => {
const reader = response.body.getReader();
return new ReadableStream({
start(controller) {
function push() {
reader.read().then(({ done, value }) => {
if (done) {
controller.close();
return;
}
controller.enqueue(value);
push();
});
}
push();
}
});
})
.then(stream => {
// 将流转换为文本并处理
return new Response(stream).text();
})
.then(text => console.log(text));
Node.js中的流操作
Node.js 提供了强大的 stream 模块，适合处理大文件、日志、实时通信等任务。
示例：复制大文件而不占满内存
const fs = require('fs');
const readStream = fs.createReadStream('input.mp4');
const writeStream = fs.createWriteStream('output.mp4');
readStream.pipe(writeStream);
// 可添加监听事件
readStream.on('error', err => console.error('读取失败:', err));
writeStream.on('finish', () => console.log('复制完成'));
使用Transform进行数据加工
Transform流非常适合做数据清洗、压缩、编码转换等操作。
例子：将所有文本转为大写
const { Transform } = require('stream');
const upperCaseTransform = new Transform({
transform(chunk, encoding, callback) {
callback(null, chunk.toString().toUpperCase());
}
});
process.stdin.pipe(upperCaseTransform).pipe(process.stdout);
运行后输入任意文字，会实时输出大写结果。
基本上就这些。掌握流式处理能让你更从容应对大数据量场景，无论是在服务端还是前端都有实际用途。关键是理解“流动”而非“存储”的思维转变。不复杂但容易忽略细节，比如背压控制和错误处理。
