如何将多个文件(50k+)/文件夹上载到AWS S3 node.js

Question

我在windows机器上运行了一个节点js，它生成一些XML文件，这些文件后来被上传到S3桶中。文件数量超过50k，有时甚至更多。

在我目前的方法中，我使用aws-sdk包进行上传。基本上，我循环遍历需要上传的文件夹，读取每个文件并上传它。

const files = fs.readdirSync(dirPath, {
            withFileTypes: true
});
for (const file of files) {
      const fileContent = fs.readFileSync(path.join(dirPath, file.name));
      const params = {
          Bucket: BUCKET_NAME,
          Key: `${folderPath}/${file.name}`,
          Body: fileContent
      };
      try {
          await s3.upload(params).promise()
      } catch (err) {
          //error handling
          return;
      }
}

这需要3-4个小时才能上传。有什么更好的方法来批量上传文件吗？或者有没有办法上传整个文件夹？

提前感谢

Answer 1

我建议您先压缩文件夹，然后将压缩的文件夹上传到S3。在bash脚本中，您可以这样做：

zip -r data.zip ./target_folder/

然后，您可以将以下内容上传到S3：

aws s3 cp ./data.zip s3://bucket_name/

希望这能帮上忙！