通过ssh隧道访问的EMR Spark History Server UI不显示日志

Question

我们的电子病历群集上的/var/log/spark/apps/文件夹已被删除。我创建了一个具有相同名称的新hdfs文件夹，并将权限更改为777。现在，每个spark应用程序都成功地将日志写入此hdfs文件夹。

但是，该文件夹中还有其他内容，它允许您通过ssh隧道连接到Spark History Server来显示应用程序日志列表。在文件夹被删除之前，它工作得很好，但现在它不会显示任何spark应用程序日志(完整或不完整)，即使hdfs dfs -ls /var/log/spark/apps/显示文件夹中充满了日志。

通过EMR AWS控制台访问的Spark History Server仍然可以工作，但这并不理想，因为它明显落后于通过ssh隧道访问的Spark History Server。

我还需要将哪些项目恢复到此文件夹中，以便通过ssh隧道打开的Spark History Server显示这些日志？

在Windows计算机上，以下PowerShell代码仍可正确打开Spark History Server UI，但UI不显示任何日志：

Start-Process powershell "-noexit", `
"`$host.ui.RawUI.WindowTitle` = 'Spark HistoryServer'; `
Start-Process chrome.exe http://localhost:8158 ; `
ssh -N -L 8158:ip-10-226-66-190.us-east-2.compute.internal:18080 hadoop@10.226.66.190"

注意:我还停止并重新启动了Spark History Server。

sudo stop spark-history-server

sudo start spark-history-server

另外：

sudo -s ./$SPARK_HOME/sbin/start-history-server.sh

Answer 1

更改权限已修复此问题。

hdfs dfs -chmod -R 777 /var/log/spark/apps/