问Spark Standalone - Tmp文件夹
EN

Stack Overflow用户

提问于 2018-04-20 00:06:40

回答 1查看 1.6K关注 0票数 3

我在集群的一个节点上使用带有Pyspark内核的Jupyter Notebook，问题是我的/tmp文件夹总是满的。我已经更新了参数：

SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=172800"

问题是这个文件夹只有200 is，当我在Jupyter中关闭内核时，有没有一种方法可以说是引发清理呢？或者，我是否应该将Dspark.worker.cleanup.appDataTtl设置为30分钟，以便每隔30分钟删除所有临时文件/日志？

发布于 2018-04-20 00:09:32

您可以尝试将spark.local.dir参数更改为具有更多空间的其他位置。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49925585

复制

相似问题

问Spark Standalone - Tmp文件夹EN