问spark.scheduler.allocation.file上的FileNotFoundException
EN

Stack Overflow用户

提问于 2021-07-15 09:01:32

回答 1查看 42关注 0票数 0

我正在尝试通过池子在spark中实现公平调度。正如docs中所说，我只需要将fairscheduler.xml文件放在类路径中，spark就会自动创建所描述的池，但它对我不起作用。我尝试以不同的方式放置分配文件属性：

("spark.scheduler.allocation.file", "conf/fairscheduler.xml")

("spark.scheduler.allocation.file", "/conf/fairscheduler.xml")

("spark.scheduler.allocation.file", "src/main/resources/conf/fairscheduler.xml")

("spark.scheduler.allocation.file", "/src/main/resources/conf/fairscheduler.xml")

但它只有在指定绝对路径时才起作用，比如C:/project_name/src/main/resources/conf/fairscheduler.xml。当然，这是不可接受的。有没有人知道怎么把正确的路径放到这里的分配文件？

发布于 2021-07-15 20:26:43

在这种情况下，我将使用键/fairscheduler.xml，并将其直接放在build resources文件夹中，以使事情尽可能简单

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68390868

复制

相似问题

问spark.scheduler.allocation.file上的FileNotFoundExceptionEN