数据事件的可读流从块中丢失第一个/最后一个字符

Question

我正在为nodeJS使用ssh2-sftp客户端连接到sftp服务器并获取一个文件，但是遇到了一个问题，当数据块多于一个块时，数据无法正确地接收，在块之间丢失一个字符：

例: sftp上的文件有“一些字符串来自sftp文件”。

如果它被分割成块，接收到的数据将如下所示：

第一块：“一些字符串f”

第二个漏洞：“om sftp文件”

在本例中，“r”丢失

const getFile = readable => new Promise((resolve, reject) => {
  let file = '';
   readable.on('data', (chunk) => { file += chunk; }); 
  readable.on('end', () => resolve(file));
  readable.on('error', reject);
});

const readable = await sftp.get(fileName, false);

sftp.get()返回NodeJS.ReadableStream

有人遇到同样的问题吗？

Answer 1

经过长时间的研究，我在模块sftp流中发现了这个问题，因为可读流highWaterMark被设置为64*1024，而错误是，如果块有64*1024口，那么就会丢失一口。我刚把水印设置为64*1024-1。

Answer 2

是否更可取的做法是将块存储为数组，然后将它们连接到缓冲区并最终获得字符串值：

const fs = require('fs');

const getFile = readable => new Promise((resolve, reject) => {
  const file = [];
  readable.on('data', chunk => file.push(Buffer.from(chunk, 'base64')));
  readable.on('end', () => resolve(Buffer.concat(file).toString()));
  readable.on('error', reject);
});


const readable = fs.createReadStream('package.json');

getFile(readable).then(file => console.log('file', file));

在本地运行它，并按预期获取我的文件的内容。