目前,我正在开发一个服务器应用程序(JEE),并且遇到了一些问题,需要将文件上传到AWS S3。我使用Java (S3client.putObject)上传这些文件。当服务器启动时,一切都会按预期进行。文件在服务器(EC2实例)中生成,并在几秒钟内上传到S3。但过了几天,表现就大大下降了。通常需要5或6秒上传的文件现在需要10到30分钟(是的,分)。我描述了这个应用程序,罪魁祸首是使用AWS进行上传的部分。奇怪的是,CPU利用率接近100%,并停留在那里几分钟。因为这基本上是一个IO操作,我不明白为什么它可能需要这么多CPU循环来运行。有人经历过这种行为吗?关于去哪儿找有什么建议吗?
文件大小从1到50 MB。
非常感谢!
更新:创建文件并将它们上传到EC2的S3实例是m1.size。我正在使用1.6.4 AWS版本。
发布于 2013-12-16 22:00:07
我想不出为什么SDK代码会导致CPU如此之高。我的第一个猜测是某种垃圾收集问题。当您上传数据时,您是将文件对象传递给AmazonS3.putObject还是某种流(包括FileInputStream)?流的处理可能有点棘手,因为它们不能保证是可重复的,您必须在ObjectMetadata中显式地提供内容长度作为上传的一部分,否则SDK必须在内存中缓冲上传以计算总长度。这将是我建议的第一件事。
旁白..。您应该查看SDK中的TransferManager API。它为您提供了一个很好的简单界面,可以将文件上载和下载到/从Amazon上下载,并内置了几个优化。
如果这仍然没有找到线索,那么我建议为这个做一个死的简单的复制案例。编写一个类文件,简单地将一个随机文件上传到同一个S3键,并使其运行时间与应用程序代码相同。如果您能够在简单的设置中重现问题,那么我们可以查看代码并帮助调试它,但是在整个应用程序代码中涉及到所有其他变量,我们只能猜测可能发生的事情。
发布于 2017-10-26 10:12:13
对于.NET,我在AWS中也有同样的问题。将一个50 S3的文件上传到S3中,会加载100%的cpu使用率。
我分析了应用程序。
事实证明,这是因为所有API请求都必须进行“签名”,而一个文件--尤其是一个大文件--通过多个请求发送,有时是数千个,有些是同时发送的。然后通过SHA256对每个请求进行散列,并使用IAM凭据对其进行签名。
限制并发线程的数量,禁用httpS (使用http),限制块数,增加块大小等。这样做可以减轻负载,但在快速连接上仍将使用大约20-30% (即使您在同一区域从EC2发送到S3,是一个非常快速的连接))。
https://stackoverflow.com/questions/20615925
复制相似问题