使用TensorFlow的Horovod能处理亚马逊SageMaker中的非GPU实例吗？

Question

我想在Amazon SageMaker上执行分布式培训。代码是用TensorFlow编写的，类似于我认为CPU实例应该足够的以下代码：https://github.com/horovod/horovod/blob/master/examples/tensorflow_word2vec.py

Horovod与TensorFlow能在亚马逊SageMaker中使用非GPU实例吗？

Answer 1

是的，你应该可以在亚马逊的SageMaker上同时使用CPU和GPU。请按照下面的示例进行相同的操作。

https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-python-sdk/tensorflow_script_mode_horovod/tensorflow_script_mode_horovod.ipynb