使用Lambda将ndjson写入S3存储桶

Question

我需要将ndjson数据上传到S3存储桶。但我很难把它传递给S3.putObject()

以下是我的JSON数据：

const responseData = uploadData.data.map((upData) => ({
 date: upData.date,
 time: upData.time,
 url: upData.url,
 test1: test1.id,
 test2: test2,
}));

我正在将上面的JSON转换为ndjson

const transformStream = ndjson.stringify();
const outputStream = transformStream.pipe(
 fileSystem.createWriteStream(__dirname + '/data.ndjson')
);
responseData.forEach(function iterator(record) {
 transformStream.write(record);
});
transformStream.end();

现在，我如何将这些数据上传到我的S3存储桶中，请协助，谢谢

Answer 1

我能够在不需要ndjson库的情况下找到一个简洁的解决方案

下面的代码将把您的JSON数据转换为ndjson格式(如果数据类型如下)：

[
  {
    "f1": "somedata",
    "f2": "somedata",
    "f3": "somedata"
  },
  {
    "f1": "somedata",
    "f2": "somedata",
    "f3": "somedata"
  }
]

const transformData = (jsonData) => {
 let res = ''
 for (let i = 0; i < jsonData.length; i++) {
   res += `${JSON.stringify(jsonData[i])}\n`
 }
 return res
}

然后，您可以简单地调用AWS.S3 - PutObject函数将ndjson数据放入S3中(如下所示)：

const result = transformData(Data)

const params = {
  Bucket: bucketName,
  Key: keyName,
  Body: result
}

s3.putObject(params, function () {})
// If you need to get the version ID of the Object (only if versioning is Enabled)
// const verID = (await s3.putObject(params, function () {}).promise()).VersionId