使用ApacheBeam2.9.0JavaSDK卡住的Google数据流作业

Question

我正在使用BeamJavaSDK2.9.0，我的工作在步骤中从Kafka中读取。我的工作在直接跑者身上很好。当我将它部署到Dataflow上时，任务就被卡住了，我没有看到任何进展。数据流监视用户界面显示

Output collections
EventKafkaReadTransform/Values/Values/Map.out0
Elements added  
–
Estimated size  
–

堆栈驱动程序日志似乎在循环中使用以下消息

错误同步pod 75bf4f18ce7d30a2b7de627656b517 ("dataflow-eventingestjob-xxx-0-02062225-wxsc-harness-r3kq_default(75bf4f18ce7d4d30a2b7de627656b517)")，跳过: CrashLoopBackOff：“后退5mps重新启动失败的容器=java流pod=dataflow-eventingestjob-xxx-0-02062225-wxsc-harness-r3kq_default(75bf4f18ce7d4d30a2b7de627656b517)”"StartContainer“失败

我想不出还能找什么。

任何帮助都是非常感谢的。

Answer 1

我们有类似的发现，这是一种无法启动工人(对我们来说，由于slf4j问题，但可能是任何事情)。

如果您查看Stackdriver日志(在UI中查看日志，然后单击链接转到Stackdriver)，您应该能够查看worker_startup日志。