首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在AWS数据管道上构建一个自动化脚本

问在AWS数据管道上构建一个自动化脚本
EN

Stack Overflow用户
提问于 2015-01-30 01:57:37
回答 1查看 2.1K关注 0票数 2

我试图以下列方式使用AWS数据管道服务:

  1. 选择活动类型为Shell命令活动,脚本uri设置为(到s3桶),并将输入集设置为true。
  2. 将活动的资源类型设置为EC2。
  3. 使用S3作为数据节点。
  4. 对于ec2资源,我选择实例类型为t2.media,将实例ID选择为由我创建的自定义AMI。
  5. 安排管道每天晚上10点运行。

步骤1中指定的脚本(即作为活动中脚本uri的一部分)有2行: 1.将S3桶数据复制到实例。2.运行python命令来执行我的程序。我创建的AMI基于ec2的Ubuntu实例,它由一些python软件和我想要运行的代码组成。

现在,在管道启动时,我注意到确实创建了ec2实例,并且S3数据被复制并提供给实例,但是python命令没有运行。实例处于运行状态,管道处于等待运行状态一段时间,然后数据管道在消息“资源停滞”下失败。

如果我做错了什么,或者为什么我的python代码没有被执行,或者为什么我被资源停滞了,谁能告诉我吗?如果我不使用管道手动运行代码,代码就能正常工作。

提前谢谢!!

EN

回答 1

Stack Overflow用户

发布于 2016-12-13 03:18:15

“资源停滞”几乎总是意味着自定义AMI的设置存在问题。这些需求都有文档化的这里。短发子弹:

自定义AMI必须满足AWS数据管道成功地用于任务运行程序的下列要求:

  • 在实例将运行的同一区域中创建AMI。
  • 确保您计划使用的实例类型支持AMI的虚拟化类型。例如,I2和G2实例类型需要一个HVM,而T1、C1、M1和M2实例类型需要一个PV。
  • 安装以下软件:
    • Linux
    • Bash
    • 惠特
    • 解拉链
    • Java 1.6或更高版本
    • 云中

  • 创建和配置一个名为ec2-user的用户帐户。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28228066

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档