我想将用户的文件上传到S3。我有一个web客户端/NodeJS Express解决方案。
到目前为止,在我的研究中,我发现使用分块上传,我可以做以下任何一种:
1.)如果直接使用管道启用流式处理,则为i cannot control the size of the file。
2.)如果需要控制大小,则必须禁用管道/流,并且必须将文件写入磁盘或内存缓冲区以检查文件大小,然后将其传输到S3。
有没有办法把这两个都买下来?
我正在考虑以下中间件:
发布于 2014-09-24 01:31:47
至少在busboy中,您可以设置各种请求范围的限制。因此,您可以为所有文件设置文件大小限制(或者通过自己计算并清除超出自定义文件大小限制的任何额外数据,以文件为单位进行设置),然后直接将其传输到S3 (使用亚马逊的multipart API)。如果busboy通知您文件大小已达到限制,那么您只需删除刚刚流式传输到S3的部分文件。
否则,另一种选择就是像你说的那样,先保存到磁盘,然后再上传到S3。
两者各有优缺点,但由于multipart streams的性质,对于此特定问题确实没有其他解决方案。
https://stackoverflow.com/questions/26001054
复制相似问题