Apache Aurora GPU资源

Question

我正在查看Apache Aurora，其中包含运行科学工作流的范围(假设有一组特定顺序的python脚本)。我已经成功地运行了几个这样的极光作业，它看起来很适合我的特定用例。

我想知道是否有一种方法可以指定一个特定的任务(或作业，一般)需要我的Apache Mesos集群中的大量GPU资源，当然Mesos首先需要知道GPU资源，似乎可以通过定义这些GPU资源来指定here。

所以问题是，是否有一种方法可以通过Aurora与Mesos沟通，以接受GPU资源可用的报价。据我所知，Aurora中的Resource对象仅限于CPU/Ram/磁盘资源。任何提示都是非常感谢的。

谢谢!

Answer 1

在检查Aurora tutorial时，我假设您可以将此资源指定为您的工作描述的一部分：resources = Resources(cpu = 2, ram = 4*GB, disk = 8*GB, gpu = 1),

请记住，这是在Mesos的人工资源中，所以Mesos在这种情况下不会关心资源隔离。例如，如果您在一个系统上有多个GPU，则您的代码必须管理不同GPU之间的隔离/调度。

Answer 2

我不熟悉Apache Aurora，但是Mesosphere Marathon (一个在功能上类似于Aurora的框架)也仅限于cpu、内存和磁盘资源。

如果您想要使用自定义资源，您可能需要编写自己的框架。根据您的需要，这可能不是那么困难。要获得灵感，请查看RENDLER框架。

正如您引用的线程中所提到的，Meso不会为GPU (实际上是任何自定义的)资源提供隔离。在进行资源计算时，请牢记这一点。