我是AWS EMR的新手,我需要根据使用情况自动扩展/缩减任务节点。我的想法是在云监控警报上为AppPending (放大)和isIdle (缩小)添加社交网络事件。我的想法正确吗?在这方面有什么好的文档吗?敬请指教。
谢谢。
发布于 2016-05-09 17:45:27
Amazon EMR中没有内置功能,可以根据某些指标自动扩展集群大小。
一种方法是将添加/删除任务节点作为作业步骤进行。这不会根据需求自动扩展,但可以在您知道需要较大的作业步骤时进行扩展。
例如,如果群集正在执行一批多个作业步骤,并且其中一个步骤需要更多服务器:
要实现真正的自动化,您需要对指示高负载的一些指标组合进行监控,然后相应地添加/删除节点。然而,指标的选择将取决于您的特定工作负载。
另一种选择是为特定作业启动一个集群,然后在作业完成时终止该集群。
发布于 2016-07-27 22:24:40
您可以看看Themis,这是由Atlassian开发的电子病历自动缩放框架。
当前的功能包括反应式自动伸缩(基于当前使用)以及主动自动伸缩(基于预定义的计划)。
该工具还提供了一个简单的Web UI,并且非常容易配置。
https://stackoverflow.com/questions/36827139
复制相似问题