是否可以快速启动具有200 be的AWS spot实例？

Question

我有一个数据科学应用程序，我需要每2-3个小时运行一次，其中我需要以令人尴尬的并行方式使用64个内核6分钟。每个核心需要从磁盘加载3 3GB的数据，总共192 3GB的磁盘数据。

为了以经济高效的方式实现这一点，我的计划是在需要运行其中一个作业时使用脚本启动一个64核的EC2 spot实例。我还计划有一个200 to的AMI，其中包含我需要的数据。然后，当EC2实例启动时，我可以运行我的64个作业，每个作业都可以从固态硬盘加载3 3GB的数据。

这是否有效，以及使用大型EC2启动AMI实例需要多长时间？如果启动实例需要几分钟，那么这就不好了，因为我只想快速运行这些6分钟的作业。有没有更好的方法来实现我的工作流程？

Answer 1

我在一个m5n.16xlarge实例上运行了一个快速测试，该实例有64个CPU，没有额外的存储。实例立即启动-就像在前10秒内一样。使用大型EBS支持的AMI的额外存储应该不会对启动时间造成影响。

我注意到这些实例类型具有高性能，AMI中包含600 in的本地存储：

物理连接到主机服务器的基于

本地NVMe的固态硬盘数据块级存储可在所有M5d、M5dn和M5ad实例上使用。这些实例非常适合需要访问高速、低延迟本地存储的应用程序，包括那些需要临时存储数据用于暂存空间、临时文件和缓存的应用程序。

您可以考虑将数据移动到S3，然后将其复制到本地存储进行处理。这将使AMI独立于您的数据，如果您需要更频繁地更改它。这些大型实例分配了10 of的带宽，因此数据传输速度应该很快。但是，每次引导时都会产生S3传输成本。

在AMI启动配置中，确保使用“通用固态硬盘”或HDD卷作为实例根卷-这比较旧的gp2磁盘卷类型更快。

https://aws.amazon.com/ec2/instance-types/m5/