Javascript:如何在不本地保存输出文件的情况下直接上传到S3？

Question

我在使用nodejs/puppeteer开发爬虫时遇到了问题。旧的爬虫是：

1. 爬行页
2. 将输出文件本地存储在fs模块中

由于我将在服务器上介绍UI，所以已经设置了将其上传到S3而不是本地存储的场景，并将结果显示为UI。

1. 爬行页
2. 流输出文件到具有fs模块的服务器。
3. 获取输出文件并将其上载到S3桶

以上是我所知道的作为一种知识的场景，我想知道它是否可能如下面所示。

1. 爬行页
2. 将存储的流数据上载到内存到S3存储桶

如果你有这样的情况，我想收到一个指南。我非常感谢你的评论或答复:)

Answer 1

这绝对是可能的。如果您只是从您的输入流到您的服务器，并管道到S3，它应该完成循环。

这是可能的，因为您可以流上传到S3，即使事先不知道文件的大小。

这个答案应该能帮到你：S3 file upload stream using node js

如果你发布一些代码，我们可以更好地回答这个问题。但希望这能让你走上正确的方向。