如何正确使用Joyent client.createWriteStream(路径、选项)

Question

我正在尝试使用来自Joyent的Manta的Node.js SDK从一个可读流中编写一个文件。

网页上给出的例子如下：

var MemoryStream = require('memorystream');

var message = 'Hello World'
var opts = {
    copies: 3,
    headers: {
        'access-control-allow-origin': '*',
        'access-control-allow-methods': 'GET'
    },
    md5: crypto.createHash('md5').update(message).digest('base64'),
    size: Buffer.byteLength(message),
    type: 'text/plain'
};
var stream = new MemoryStream();
var w = client.createWriteStream('/jill/stor/hello_world.txt', opts);

stream.pipe(w);

w.once('close', function (res) {
    console.log('all done');
});

stream.end(message);

但是，如果我们使用writeStream将一个文件/对象/字符串已经放入程序中，那么如果我想传递一个可读的流来编写，像这样呢？

 function saveCopyToManta(cb){
    var stream = fs.createReadStream('/tmp/' + filename);

    var opts = {
        copies: 3,
        headers: {
            'access-control-allow-origin': '*',
            'access-control-allow-methods': 'GET'
        },
        md5: crypto.createHash('md5').update(message).digest('base64'),
        size: filesize,
        type: 'text/plain'
    };

    client.put('/someuser/stor/logs/+filename, stream, opts, function (err) {
      if(err) cb(err);
      else cb();
    });
  };

关于这一行，我该怎么做才能奏效：

md5: crypto.createHash('md5').update(message).digest('base64'),

谢谢

Answer 1

TL；博士不要发送md5。

如果您不介意阅读两次流，您可以预先计算md5，如下所示：

var fs = require('fs');
var crypto = require('crypto');

function calculateStreamHash(readableStream, algorithm, encoding, cb) {
  var hash = crypto.createHash(algorithm);

  readableStream.on('data', updateHash);
  readableStream.on('end', finish);

  function updateHash(d) {
    hash.update(d);
  }

  function finish() {
    var d = hash.digest(encoding);
    cb(d);
  }
}

calculateStreamHash(fs.createReadStream('/tmp/' + filename), 'md5', 'base64', function(md5) {
  // use md5
});

如果两次读取流不是一个选项，我建议根本不发送MD5。看一下曼塔的Node.js SDK，它似乎是一个可选的字段。请参阅https://github.com/joyent/node-manta/blob/master/lib/client.js#L169

实际上，在使用createWriteStream()的特定方法中，md5选项字段被完全忽略。请参阅https://github.com/joyent/node-manta/blob/master/lib/client.js#L1399

所以您可能应该忽略这个md5字段。