对不起,我对这个世界很陌生,我应该把它安装在一个带有2个nvidia安培GPU节点的集群上,我在install段落中的NVIDIA链接中发现:“注意,加速器目前只支持ScalaVersion2.12。”
我想安装最新版本的Spark3.3,它支持从我看到的第2.13规模,但我将只使用python。我不明白的是,如果这个NVIDIA插件只支持scale 2.12,但是其他编程语言的所有其他版本都支持,因此我在GPU上运行python没有问题,我只能使用scale和version 2.12。能够使用GPU,因此python不可能使用它?
谢谢
发布于 2022-10-12 14:03:34
这个问题在这里得到了解决:https://github.com/NVIDIA/spark-rapids/discussions/6739带有一个脚本,允许您使用这两个GPU,是一个单独的节点独立集群,在这里可以找到:https://github.com/NVIDIA/spark-rapids/discussions/6739#discussioncomment-3830105。
https://stackoverflow.com/questions/73997505
复制相似问题