首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >开始使用AWS云计算和文本处理

问开始使用AWS云计算和文本处理
EN

Stack Overflow用户
提问于 2019-04-26 08:24:54
回答 3查看 359关注 0票数 1

我刚刚开始使用云计算服务,因为有些过程确实减慢了我的机器的速度。我在AWS上创建了一个帐户(12个月的免费服务),花了超过一天的时间阅读不同的教程、文档页面等等问题。我知道如何启动EC2实例,如何通过ssh连接并运行python脚本,但我仍然认为,开始使用云计算服务的整个过程给新来的人带来了困难。

我的例子:我正在使用python来处理中等大小csv文件中的文本数据(例如余弦相似性)(最高可达1GB)。当我的第一次尝试以非常缓慢的过程结束时,我决定向你们提出以下问题:

  • 更一般的问题是:当从云计算服务开始(运行python脚本)时,应该采取哪些步骤?知道什么是重要的,从哪里开始(比如第一步:选择EC2什么样的实例)?
  • 在使用AWS时,什么时候使用boto3,以及直接通过ssh处理?
  • 由于我对硬件问题不太熟悉,而且有上千种可能的选择:选择EC2实例时(特别是通过python处理文本时)要寻找什么?
  • 因为我正在尝试处理一个csv文件:处理现有文件/存储新文件的最佳方法是什么?将它们存储在S3桶中更好吗?如何连接?

抱歉,如果我的问题看上去有点不知情。我试着一个人去研究,但是一切都很模糊,而且我能找到的所有信息都是非常笼统的。

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2019-04-26 09:10:47

祝贺您通过了最初的几个教程,并成功地开始了您自己的EC2实例!虽然云有许多好处,但它在起步时仍然有一些开销,这对新手来说可能很难,但这样的反馈有助于我们改进开发人员的体验。

1.从云计算开始(运行python脚本)时,应该采取哪些步骤?

似乎SSHing已经将您的脚伸进了一个EC2实例(它将最接近于您的系统上的一个终端),但我想我会帮助您提供一些其他选项,您可以根据您的用例在云中运行python脚本。

  • AWS Cloud9:一个云IDE,它可以更容易地访问AWS上的其他服务和资源。如果vim/emacs不是您的首选,那么能够直接从基于浏览器的IDE进行编码可能会产生很大的影响,而不是在本地编写代码,并不断地将代码推送到您的EC2实例中。
  • 亚马逊SageMaker托管笔记本:这些是托管的木星/木星实验室笔记本,可以在单元格中运行Python (或您选择的内核),这些单元格是模块化的代码块。它们在为数据处理编写代码的人(数据科学家、ML/AI研究人员等)中非常受欢迎,而且您可以在不到5分钟内启动和运行一个代码,您不需要担心SSH。

2.知道什么是重要的,从哪里开始(比如第一步:选择EC2什么样的实例)?

理想的实例类型将是对您给定的工作量和预算的价格和性能的一个有利的交叉。有大量不同的EC2实例类,分别针对不同的工作负载进行了优化。

为了选择一个实例来加速您的特定工作负载,我需要更多地了解代码本身,以找出您的计算瓶颈是什么--增加RAM大小是否允许更大的批数从而加快计算速度,或者它是否是一个效率低下、复杂度爆炸性的算法,只需要更多的计算?进程可并行吗?因此,它会从利用GPU中获益吗?

3.在使用AWS时,您什么时候使用boto3,以及何时直接通过ssh?

boto3是AWS,它允许在运行时从脚本中对其他AWS资源进行编程访问(创建、读取、更新或删除)。这使您可以在工作负载处理期间从控制台执行的任何功能。一个常见的例子可能是从S3中提取数据集,或者将转换作业推送到EMR (弹性地图还原)。或者,您可以使用awscli命令行实用工具在运行时之外直接从bash执行这些相同的操作。SSH用于直接访问服务器,用于修改内容、运行命令或调试。

4.在选择EC2实例时(特别是在通过python处理文本时)需要寻找什么?

这里最大的先兆问题是:您的工作负载的计算概要是什么?正如在A2中提到的那样,虽然选择一个跨所有主要属性(RAM、CPU核心/速度、GPU、网络等)功能更强大的实例几乎可以保证加快您的进程,但是您很可能会支付过高/使用不足,因为只有这些资源的一部分才是系统的真正瓶颈。查找当前工作负载中当前最大容量的哪种类型的硬件将有助于您确定要提供哪种类型的实例。

我建议使用C-class (计算优化)实例或P-class ( GPU /并行计算优化)实例,这取决于您的进程是否可以与GPU并行。

5.因为我正在尝试处理csv文件:处理现有文件/存储新文件的最佳方法是什么?将它们存储在S3桶中更好吗?如何连接?

在S3中存储可能是理想的,因为它将使其他服务能够更容易地访问文件(无论是云中的其他AWS服务,还是试图从AWS外部提取文件)。而且,它使您能够在计算完成后将服务器拆下,并且该文件将永久保存在S3上。

希望这些答案有所帮助--你的问题是完全自然的,而且是正确的!欢迎来到AWS,并快乐的黑客!

票数 2
EN

Stack Overflow用户

发布于 2019-04-26 10:25:02

1,3.从云计算服务开始(运行python脚本)时,应该采取哪些步骤?知道什么是重要的,从哪里开始(比如第一步:选择EC2什么样的实例)?

  • 不常处理: t2/t3或使用Lambda。不频繁的批处理:现场。
  • 了解t2/t3的基于信用的突发处理限制。
  • 总是研究实际的成本后果。
  • 了解你的数据传输要求。不要在不知道数据传输成本的情况下简单地在EC2中托管网站。许多人以艰难的方式吸取教训(在他们看到庞大的数据传输到互联网账单之后)。

2.在使用AWS时,您什么时候使用boto3,以及何时直接通过ssh?

  • 对于初学者,使用ssh和AWSCLI来熟悉AWS
  • 尝试限制AWS服务访问的boto3使用,不要使用它构建部署自动化。
  • 从长远来看,您必须考虑学习部署工具,如Terraform/cloudformation/等。使用boto3构建自己的部署是很有诱惑力的。

4.因为我正在尝试处理csv文件:处理现有文件/存储新文件的最佳方法是什么?将它们存储在S3桶中更好吗?如何连接?

  • 只需谷歌围绕“一步一步的例子”设置EC2,以启用连接到s3
  • 不要简单地签名和共享S3文件,除非您知道自己在做什么
  • 您可以使用AWS自由层来处理服务和安全设置。只要您将数据传输从AWS保持最低限度。
票数 1
EN

Stack Overflow用户

发布于 2019-04-26 23:30:25

当我开始学习云时,我发现了一个问题,那就是有太多的东西可用,而且很容易丢失。我建议您考虑简化云处理方法。您可能需要考虑三个简单的步骤。

1)了解S3并设置一个S3桶。这很容易。

2)使用boto3并从您自己的PC连接到S3桶,并在python中将文件读写到S3桶中。

3)现在尝试使用您的python代码并使用无服务器框架在lambda函数中运行它,您可能会发现lamdba函数适合您的用例。如果没有,请添加另一个步骤来配置EC2并在那里运行相同的函数。我不像一个系统管理员,所以我认为蓝达第一。

祝你好运,并祝贺你的开始。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55863620

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档