如何将Spark临时目录指向EMR中的其他文件系统

Question

在我的EMR spark集群的核心机器中，我有一个EBS卷大小为128 of。我的Spark程序提示我“设备上没有剩余空间”错误。因此，我希望在EMR中将spark使用的临时目录指向另一个文件系统"/dev/xvdb2“。我该怎么做呢？

下面是我的一台核心机器的输出。

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs         34G   78k   34G   1% /dev
tmpfs            34G     0   34G   0% /dev/shm
/dev/xvda1       11G  4.3G  6.1G  42% /
/dev/xvdb1      5.4G   35M  5.4G   1% /emr
/dev/xvdb2      133G   12G  121G   9% /mnt

Answer 1

试着在你的spark/conf/spark-env.sh中添加类似的东西

导出SPARK_LOCAL_DIRS=/opt/spark/tmp