首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >AWS批处理作业“依赖”时仍处于待定状态

问AWS批处理作业“依赖”时仍处于待定状态
EN

Stack Overflow用户
提问于 2018-03-07 10:04:48
回答 1查看 1.2K关注 0票数 0

我有一个问题,链接AWS批处理作业。

  • 有3个计算环境 (CE_A、CE_B、CE_C),它们分别关联了一个作业队列 (JQ_A、JQ_B、JQ_C)。
  • 有6个作业定义 (JD_1、JD_2、.、JD_6)。
  • 将<jqce>-<jd>-<name>设为在作业队列(或计算环境) <jqce>上启动的带有作业定义<jd>的作业。例子:A-1-a,C-6-z。
  • 我想依次执行大约20个作业(用不同的环境变量启动):A-1-a、A-1-b、B-2-c、A-3-d、A-3-e、A-3-f、.
  • 对于每个作业,我使用:params.dependsOn = [{ "jobId": "xxxxx-xxxx-xxxx-xxxxxx"}]在Batch.submitJob(params)中指定上一个作业的依赖项。
  • 前两个作业A-1-a和A-1-b在等待几分钟重新分配后成功执行。
  • 第三个作业B-2-c也成功执行,在等待Compute环境CE_B启动几分钟之后。
  • 同时,由于没有作业,计算环境CE_A被关闭。

这里的问题是:

  • 我希望在这一点上,CE_B下降,CE_A上升。CE_A 没有上升。
  • A-3-d从未被执行过,16小时后它仍然处于PENDING状态。
代码语言:javascript
复制
- The `dependsOn` is ok, its dependency ended long time ago.
- Without `dependsOn` the Batch runs ok, with the same environment variables and config.

​

问题

  • 您是否遇到过类似的AWS Batch和dependsOn问题?
  • 是否可以从不同的作业队列中连锁批处理?
  • 是否有可能从不同的计算环境中连锁批处理?
  • 你觉得params.dependsOn = [{ "jobId": "xxx-xxx-xxx-xxx" }]还好吗?我似乎不必设置type属性参见数组作业;
EN

回答 1

Stack Overflow用户

发布于 2018-03-08 06:23:34

params.dependsOn ={ "jobId":“xxx-xxx”}在您看来还行吗?似乎我不必设置type属性,请参阅数组作业;

是的,只有当类型被定义为数组作业时才需要类型。您所提供的JobID是提交特定职务时返回的内容吗?

是否可以从不同的作业队列中连锁批处理?是否有可能从不同的计算环境中连锁批处理?你应该能做到的,但我从来没有这么做过。 同时,由于没有作业,计算环境CE_A被关闭。

所以CE_A已经在运行了,已经运行了A-1-a,A-1-b?

我记得,AWS每10分钟检查一次某些状态,人们会遇到系统似乎卡住的情况。

您可以将CE_A设置为始终至少有一个CPU,这样它就不会消失,或者很难获得一个版本。

您可以简单地进行测试吗?缩短操作、减少队列等

考虑检查AWS论坛的批处理。那里的活动不多,但值得多看一双眼睛。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49149100

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档