管道oboe.js将json解析为Node.js中的http响应对象

Question

我正在使用Oboe.js从Node readStream中解析JSON，我希望以一种节省内存的方式将其发送回请求它的客户机。是否可以通过管道将来自Oboe的node或path事件的数据传送到Node.js HTTP响应对象，这样我就可以将解析后的数据动态传递给客户端，而不是收集完整的数据并一次性全部发送？这是我到目前为止所拥有的代码：

const express = require('express');
const app = express();
const PORT = 3000;
const oboe = require('oboe');
const fs = require('fs');

app.get('/download', (req, res) => {

    const jsonDataStream = fs.createReadStream('./citylots.json');

    oboe(jsonDataStream)
        .node('features.*', function(feature) {
           // res.send is non-streaming. how to stream?
            res.send(feature);
        });
});

app.listen(PORT, () => console.log(`up on port ${ PORT }!`));

Answer 1

对于您的特定问题，我认为问题与res.send终止响应(docs)的事实有关。由于res是一个可写流，您可以调用res.write向响应中写入一个字符串。你将不得不做一些额外的工作来插入逗号以及开始的[和]。

const express = require('express');
const app = express();
const PORT = 3000;
const oboe = require('oboe');
const fs = require('fs');

app.get('/download', (req, res) => {

    const jsonDataStream = fs.createReadStream('./citylots.json');

    oboe(jsonDataStream)
        .node('features.*', function(feature) {
          res.write(JSON.stringify(feature));
        });
});

app.listen(PORT, () => console.log(`up on port ${ PORT }!`));

不过，退一步说，我想确保Oboe适用于您的用例。它可能会使您的实现变得复杂，但却没有太多好处。您的目标是通过向客户端发送更少的数据来减少内存吗？换句话说，您是否试图避免发送所有citylots.json，而只想发送其features

Answer 2

我认为您需要的是保持发送数据，而不将整个文件保存在内存中。

因此，您需要使用管道。管道将允许您以块的形式发送数据