我刚刚开始使用云计算服务,因为有些过程确实减慢了我的机器的速度。我在AWS上创建了一个帐户(12个月的免费服务),花了超过一天的时间阅读不同的教程、文档页面等等问题。我知道如何启动EC2实例,如何通过ssh连接并运行python脚本,但我仍然认为,开始使用云计算服务的整个过程给新来的人带来了困难。
我的例子:我正在使用python来处理中等大小csv文件中的文本数据(例如余弦相似性)(最高可达1GB)。当我的第一次尝试以非常缓慢的过程结束时,我决定向你们提出以下问题:
抱歉,如果我的问题看上去有点不知情。我试着一个人去研究,但是一切都很模糊,而且我能找到的所有信息都是非常笼统的。
发布于 2019-04-26 09:10:47
祝贺您通过了最初的几个教程,并成功地开始了您自己的EC2实例!虽然云有许多好处,但它在起步时仍然有一些开销,这对新手来说可能很难,但这样的反馈有助于我们改进开发人员的体验。
1.从云计算开始(运行python脚本)时,应该采取哪些步骤?
似乎SSHing已经将您的脚伸进了一个EC2实例(它将最接近于您的系统上的一个终端),但我想我会帮助您提供一些其他选项,您可以根据您的用例在云中运行python脚本。
2.知道什么是重要的,从哪里开始(比如第一步:选择EC2什么样的实例)?
理想的实例类型将是对您给定的工作量和预算的价格和性能的一个有利的交叉。有大量不同的EC2实例类,分别针对不同的工作负载进行了优化。
为了选择一个实例来加速您的特定工作负载,我需要更多地了解代码本身,以找出您的计算瓶颈是什么--增加RAM大小是否允许更大的批数从而加快计算速度,或者它是否是一个效率低下、复杂度爆炸性的算法,只需要更多的计算?进程可并行吗?因此,它会从利用GPU中获益吗?
3.在使用AWS时,您什么时候使用boto3,以及何时直接通过ssh?
boto3是AWS,它允许在运行时从脚本中对其他AWS资源进行编程访问(创建、读取、更新或删除)。这使您可以在工作负载处理期间从控制台执行的任何功能。一个常见的例子可能是从S3中提取数据集,或者将转换作业推送到EMR (弹性地图还原)。或者,您可以使用awscli命令行实用工具在运行时之外直接从bash执行这些相同的操作。SSH用于直接访问服务器,用于修改内容、运行命令或调试。
4.在选择EC2实例时(特别是在通过python处理文本时)需要寻找什么?
这里最大的先兆问题是:您的工作负载的计算概要是什么?正如在A2中提到的那样,虽然选择一个跨所有主要属性(RAM、CPU核心/速度、GPU、网络等)功能更强大的实例几乎可以保证加快您的进程,但是您很可能会支付过高/使用不足,因为只有这些资源的一部分才是系统的真正瓶颈。查找当前工作负载中当前最大容量的哪种类型的硬件将有助于您确定要提供哪种类型的实例。
我建议使用C-class (计算优化)实例或P-class ( GPU /并行计算优化)实例,这取决于您的进程是否可以与GPU并行。
5.因为我正在尝试处理csv文件:处理现有文件/存储新文件的最佳方法是什么?将它们存储在S3桶中更好吗?如何连接?
在S3中存储可能是理想的,因为它将使其他服务能够更容易地访问文件(无论是云中的其他AWS服务,还是试图从AWS外部提取文件)。而且,它使您能够在计算完成后将服务器拆下,并且该文件将永久保存在S3上。
希望这些答案有所帮助--你的问题是完全自然的,而且是正确的!欢迎来到AWS,并快乐的黑客!
发布于 2019-04-26 10:25:02
1,3.从云计算服务开始(运行python脚本)时,应该采取哪些步骤?知道什么是重要的,从哪里开始(比如第一步:选择EC2什么样的实例)?
2.在使用AWS时,您什么时候使用boto3,以及何时直接通过ssh?
4.因为我正在尝试处理csv文件:处理现有文件/存储新文件的最佳方法是什么?将它们存储在S3桶中更好吗?如何连接?
https://stackoverflow.com/questions/55863620
复制相似问题