Apache Spark 3 GPU集群

Question

我是Apache Spark的新手。在我尝试Dask、Ray和Horovod之前，它们可以很容易地创建图形处理器集群。我目前使用的是Apache Spark 3.0 (它添加了NVIDIA GPU支持)，但在创建GPU集群时遇到了问题。我尝试按如下方式配置spark-defaults.conf：

spark.executor.resource.gpu.amount 1
#spark.task.resource.gpu.amount    0.25
#spark.executor.resource.gpu.discoveryScript ./getGpusResources.sh

仪表板上的状态为waiting。如何创建GPU集群？

Answer 1

在查看了几个隐藏的网站后，我在下面的博客中编译了在Apache Spark3.0中设置GPU集群的说明：http://deeplearningyogi.com/请评论。

谢谢,

文迪亚斯