处理大文件上传或者转发数据流时，`stream.write()` 的返回值经常被当成可有可无的东西。很多人写管道逻辑时直接 `readable.on('data', chunk => writable.write(chunk))`，本地小文件跑得好好的，一旦面对几百 MB 的日志文件或者高吞吐的 TCP 转发，进程内存就一路涨到 OOM。问题不在 write 本身，而在于 `write()` 返回 `false` 时表示内部缓冲区已经超过 highWaterMark，调用方应该暂停读取，等 `drain` 事件再继续，否则数据会持续堆积在可写流的缓冲区里。这篇文章从背压的实际触发条件讲起，结合一个日志转发的场景，梳理手动 pipe 时容易踩的坑，以及 `pipeline` 为什么能兜住这些问题。

先看一个真实会出问题的写法。假设要把一个上传的文件流式写入对象存储，中间做一次行处理：

```js
const fs = require('fs');
const { Transform } = require('stream');

const source = fs.createReadStream('./big.log');
const target = fs.createWriteStream('./out.log');

source.on('data', (chunk) => {
 const ok = target.write(chunk.toString().toUpperCase());
 // 这里什么都没做
});

source.on('end', () => target.end());
```

当目标磁盘写入慢于读取速度时，`target.write()` 返回 `false`。此时 `source` 并不会自动停下来，`data` 事件继续触发，chunk 被塞进 `target` 的内部缓冲队列。缓冲队列的上限由 `writableHighWaterMark`（默认 16KB，对象模式不同）约束，但这个约束只是"建议"，write 不会拒绝数据，只会记住已经超了。于是内存持续增长。

正确的手动处理需要把暂停和恢复接上：

```js
source.on('data', (chunk) => {
 const ok = target.write(chunk);
 if (!ok) {
 source.pause();
 target.once('drain', () => source.resume());
 }
});
```

这段代码能跑，但有几个隐患。`drain` 只会在缓冲区清空后触发一次，如果多个 chunk 连续写入都在 paused 之前发生，可能挂上多个 `once('drain')`；另外 source 出错或者 target 出错时要手动清理监听器，否则 resume 可能在一个已销毁的流上调用。实际项目里手写这套协调逻辑很容易漏分支。

Node.js 的 `stream.pipeline` 把这些都封进去了，它会自动处理背压、错误传播和流销毁：

```js
const { pipeline } = require('stream/promises');
const { Transform } = require('stream');

const upper = new Transform({
 transform(chunk, enc, cb) {
 cb(null, chunk.toString().toUpperCase());
 }
});

await pipeline(
 fs.createReadStream('./big.log'),
 upper,
 fs.createWriteStream('./out.log')
);
```

`pipeline` 内部对每一步都按返回值做了 pause/resume，任意一环报错会销毁整条链，不会留下半开状态。代价是它要求每一环都是标准 stream 接口，如果在中间插入一个第三方 SDK 的回调式写入（比如某些云存储客户端只有 `putObject` 回调），就需要先用 `Writable` 包一层：

```js
const { Writable } = require('stream');

function createUploadStream(client) {
 return new Writable({
 highWaterMark: 1024 * 1024,
 write(chunk, enc, cb) {
 client.append(chunk, (err) => cb(err));
 },
 final(cb) {
 client.commit(cb);
 }
 });
}
```

这里把 `highWaterMark` 调到 1MB，是因为网络分片上传时单次请求太小反而增加往返开销，但要配合 `pipeline` 使用，因为它会尊重这个值做节流。如果自己手写循环，调大 highWaterMark 只会让 OOM 来得更晚一点。

还有一个场景是 `readable.pipe(writable)` 的旧写法。pipe 本身是处理背压的，但它不会在 target 报错时销毁 source，源流可能继续读下去直到 end。线上表现为上传失败后进程还在从磁盘拉数据。用 `stream.pipeline` 或者给 pipe 的目标流加 error 监听并手动 destroy 源流都能解决，前者更省事。

排查这类问题时，除了看内存曲线，可以直接打印 `writable.writableLength` 观察缓冲积水：

```js
setInterval(() => {
 console.log('buffered:', target.writableLength);
}, 1000).unref();
```

如果这个值持续逼近甚至超过 highWaterMark 且不回落，基本就是 write 返回值被忽略了。切换成 pipeline 后这个值会在水位附近震荡，不会线性增长。

写流式代码时把 `write()` 的布尔返回值当成一个必须处理的分支，比记住任何 API 细节都管用。

 推荐查看笑话：https:://www.tianqi323.com/joke/1838.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1839.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1840.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1841.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1842.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1843.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1844.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1845.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1846.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1847.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1848.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1849.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1850.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1851.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1852.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1853.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1854.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1855.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1856.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1857.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1858.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1859.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1860.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1861.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1862.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1863.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1864.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1865.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1866.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1867.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1868.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1869.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1870.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1871.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1872.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1873.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1874.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1875.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1876.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1877.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1878.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1879.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1880.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1881.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1882.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1883.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1884.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1885.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1886.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1887.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1888.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1889.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1890.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1891.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1892.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1893.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1894.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1895.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1896.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1897.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1898.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1899.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1900.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1901.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1902.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1903.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1904.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1905.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1906.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1907.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1908.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1909.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1910.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1911.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1912.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1913.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1914.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1915.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1916.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1917.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1918.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1919.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1920.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1921.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1922.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1923.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1924.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1925.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1926.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1927.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1928.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1929.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1930.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1931.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1932.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1933.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1934.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1935.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1936.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1937.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1938.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1939.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1940.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1941.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1942.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1943.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1944.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1945.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1946.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1947.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1948.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1949.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1950.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1951.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1952.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1953.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1954.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1955.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1956.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1957.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1958.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1959.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1960.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1961.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1962.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1963.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1964.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1965.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1966.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1967.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1968.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1969.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1970.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1971.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1972.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1973.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1974.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1975.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1976.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1977.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1978.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1979.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1980.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1981.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1982.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1983.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1984.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1985.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1986.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1987.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1988.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1989.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1990.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1991.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1992.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1993.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1994.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1995.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1996.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1997.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1998.html
 推荐查看笑话：https:://www.tianqi323.com/joke/1999.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2000.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2001.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2002.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2003.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2004.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2005.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2006.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2007.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2008.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2009.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2010.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2011.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2012.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2013.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2014.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2015.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2016.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2017.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2018.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2019.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2020.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2021.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2022.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2023.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2024.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2025.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2026.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2027.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2028.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2029.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2030.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2031.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2032.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2033.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2034.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2035.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2036.html
 推荐查看笑话：https:://www.tianqi323.com/joke/2037.html

处理大文件上传或者转发数据流时，stream.write() 的返回值经常被当成可有可无的东西。很多人写管道逻辑时直接 readable.on('data', chunk => writable.write(chunk))，本地小文件跑得好好的，一旦面对几百 MB 的日志文件或者高吞吐的 TCP 转发，进程内存就一路涨到 OOM。问题不在 write 本身，而在于 write() 返回 false 时表示内部缓冲区已经超过 highWaterMark，调用方应该暂停读取，等 drain 事件再继续，否则数据会持续堆积在可写流的缓冲区里。这篇文章从背压的实际触发条件讲起，结合一个日志转发的场景，梳理手动 pipe 时容易踩的坑，以及 pipeline 为什么能兜住这些问题。

Node.js 中 stream 的背压机制：一个被忽略的 write 返回值导致的 OOM

处理大文件上传或者转发数据流时，stream.write() 的返回值经常被当成可有可无的东西。很多人写管道逻辑时直接 readable.on('data', chunk => writable.write(chunk))，本地小文件跑得好好的，一旦面对几百 MB 的日志文件或者高吞吐的 TCP 转发，进程内存就一路涨到 OOM。问题不在 write 本身，而在于 write() 返回 false

编程语言

Node.js流式处理大文件时，忽略write()返回值会导致内存OOM。当write()返回false，需暂停读取并等待drain事件，否则数据在缓冲区堆积。手写背压协调易出错，推荐使用stream.pipeline自动处理暂停恢复、错误传播和流销毁。通过writableLength监控缓冲水位，结合highWaterMark合理配置，确保高吞吐场景下稳定运行。

对象存储

日志文件

代码解释

云存储

数据流

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Node.js流式处理大文件时，忽略write()返回值会导致内存OOM。当write()返回false，需暂停读取并等待drain事件，否则数据在缓冲区堆积。手写背压协调易出错，推荐使用stream.pipeline自动处理暂停恢复、错误传播和流销毁。通过writableLength监控缓冲水位，结合highWate...

Node.js 中 stream 的背压机制：一个被忽略的 write 返回值导致的 OOM-腾讯云开发者社区-腾讯云

Node.js 中 stream 的背压机制：一个被忽略的 write 返回值导致的 OOM

Node.js 中 stream 的背压机制：一个被忽略的 write 返回值导致的 OOM

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐