问spark-operator登录k8s
EN

Stack Overflow用户

提问于 2020-07-28 13:46:00

回答 1查看 448关注 0票数 1

我正在为Kubernetes使用spark-operator。

我可以成功地运行作业，但由于pod是动态的，因此监控和排除作业故障有很多麻烦。

我想知道启用历史服务器(到s3a://)和spark-operator的最佳方式。

另外，如何在s3a://中存储每个作业的驱动程序/执行器的stdout和stderr日志。

发布于 2020-11-04 11:14:24

我认为使用filebeat来收集pods的日志，并将日志保存在elasticsearch中是一个很好的做法。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63127763

复制

相似问题

问spark-operator登录k8sEN