使用TransferManager上传大量小对象
使用TransferManager上传大量小对象
提问于 2020-07-29 14:41:24
我有大量的文件(大约一百万个)，每个文件的大小都在2KB左右。我目前在Java中使用的是s3Client的PutObject方法。将每个文件上传到s3存储桶。但是上传所有文件需要很长时间(大约4-5个小时)。我读过关于TransferManager的文章，知道它可以用来通过multipart上传大尺寸的对象。但这是针对大小至少为5MB的文件，这不符合我的用例。有没有什么方法可以使用TransferManager来提高上传速度？如果没有，我还能做什么？
回答 1
Stack Overflow用户
发布于 2020-07-29 15:57:36
如果你正在使用https请求上传你的文件，你可以尝试使用多个前缀，你也可以有多个应用程序的副本，这样负载就可以分配，时间就会减少。另一种解决方案是，如果您以后不打算读取单个文件，您可以将数据分成多个部分进行压缩并上传。您也可以参考aws文档。aws s3 performance optimization
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63147750
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号