如何使用Mesos / Kubernetes / Azure来扩展和缩减可用VM？

Question

Mesos或Kubernetes是否提供了动态分配/取消分配虚拟机的工具？

我需要构建一个工作流引擎，它具有高度可变的负载和短期和长期运行任务的混合。例如，在上午9点，我可能需要运行10,000个作业，其中500个作业需要4个小时，其余的需要5分钟。然后在上午10点，我只需要运行600个短作业。

如果我在Azure (我首选的云环境)上运行，Mesos或Kubernetes是否可以动态地扩展或缩小集群中的可用VM以满足需求？它能智能地这样做，这样运行的作业就不会被中断吗？

Answer 1

我不知道在azure中有DCOS/MESOS的自动缩放器。这是一个github存储库，用于在ACS kubernetes集群中创建自动缩放器。https://github.com/wbuchwalter/Kubernetes-acs-autoscaler

至于代码是如何工作的。它是使用az cli构建的工具，用于使用az ACS scale命令告诉acs服务放大和缩小节点。看看它想要排出所有连接的代码，然后使用kubectl从节点中提取pod，但它目前似乎没有这样做。

Answer 2

因为我个人不使用Azure，所以我不能给你一个“生产”的洞察力，但据我对Azure supports auto-scaling的理解，无论是通过平均CPU使用率还是消息队列大小。如果你想遵循“手动”的方式，请参考文档了解Azure的可能性。

对于Mesos的情况，我认为如果达到某些限制，可以利用CPU使用模式自动启动新的Mesos从站/代理。据我所知，纯Mesos不能自行启动其他虚拟机，这意味着自动伸缩必须通过云提供商的接口来完成。

如果你想使用DCOS，有一个用于DCOS on Azure的EAP，它需要注册。据我所知，DCOS应该能够与云提供商的接口交互，这意味着它应该能够自动扩展。

Answer 3

Kubernetes还没有真正的自动伸缩，但你可以通过监控特定的api(每秒的请求数)来“手动”实现，并让它调用特定的Azure缩放api。