如何在spark web-ui中保留yarn服务器重启后完成的应用程序

Question

我正在使用spark的纱线资源管理器。重新启动yarn服务器后，spark-webui中所有已完成的作业都将消失。

下面两个属性添加到yarn-site.xml中，有人能解释一下可能的原因吗?是否有任何属性可以控制这一点。

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>86400</value>
</property>

谢谢。

Answer 1

如果在yarn-site.xml中将yarn.resourcemanager.recovery.enabled设置为true并设置yarn.resourcemanager.store.class，则可以在重启时保留应用程序历史记录。

有关更多详细信息，请参阅ResourceManger Restart。

您的其他条目指的是日志记录，并定义您希望完成的日志在清除之前保留多长时间。您可以在yarn-default.xml中阅读有关它们的更多信息。