没有这样的容器(使用worker_harness_container_image)

Question

我试图使用标志在Google (作业ID：2020-06-08_23_39_43-14062032727466654144)上运行Apache

--experiment=beam_fn_api 
--worker_harness_container_image=gcr.io/PROJECT_NAME/apachebeamp3.7_imageconversion:latest

不幸的是，这位工作人员陷入了最初的状态。配置完全相同的作业在今年年初(2月？)我想知道从那以后发生了什么变化，在我这一边需要什么改变才能让它重新运行。

如果我在本地运行该作业

--runner=PortableRunner \
--job_endpoint=embed \
--environment_config=PROJECT_NAME/apachebeamp3.7_imageconversion:latest

它运行得很完美。

在Dataflow日志中，我看到以下错误消息：

getPodContainerStatuses for pod "dataflow-beamapp-sam-0609063936-65-06082339-h464-harness-zzpb_default(a65b24a783afd25920bf29ff27d7baf8)" failed: rpc error: code = Unknown desc = Error: No such container: 586554fec1cf2942c7d2f45589db02b217c90c2ea96982041fc3f12b4b6595ff" 

和

ContainerStatus "1647b951d266b4b1d318317b1836002eb4731a510dffa38ba6b58b45a7710784" from runtime service failed: rpc error: code = Unknown desc = Error: No such container: 1647b951d266b4b1d318317b1836002eb4731a510dffa38ba6b58b45a7710784

我对容器ID感到有点困惑，因为gcr.io/PROJECT_NAME/apachebeamp3.7_imageconversion:latest目前有8bdf43f9cdcd20d4c258a7810c81cb5214ecc984e534117ef8ba1a4cab2a3dae。

问题：

• 为什么我得到与容器相关的错误消息，而这些容器似乎没有被我引用？
• ，我需要做什么才能让我的工作再次运行？

编辑基于以下问题的其他信息：

谢谢你的指点。我看过dataflow.googleapis.com/kubelet日志。我看到的唯一错误是

• while getting AWS credentials NoCredentialProviders: no valid providers in chain. Deprecated.
• ContainerStatus "55271a8a1af2a90d6162eda03bd8924aad502fd32f09ca50bf35af58e428cf59" from runtime service failed: rpc error: code = Unknown desc = Error: No such container: 55271a8a1af2a90d6162eda03bd8924aad502fd32f09ca50bf35af58e428cf59
• Error syncing pod a65b24a783afd25920bf29ff27d7baf8 ("dataflow-beamapp-sam-0609063936-65-06082339-h464-harness-7056_default(a65b24a783afd25920bf29ff27d7baf8)"), skipping: [failed to "StartContainer" for "sdk0" with CrashLoopBackOff: "Back-off 10s restarting failed container=sdk0 pod=dataflow-beamapp-sam-0609063936-65-06082339-h464-harness-7056_default(a65b24a783afd25920bf29ff27d7baf8)".

奇怪的是，我在日志查看器中没有看到一个类别worker-startup。我需要做什么才能看到这些日志条目，并能够在这个调试过程中进行下一步:-)？

Answer 1

结果我犯了很多错误：

在我的Dockerfile中，

• 需要将FROM apachebeam/python3.7_sdk:latest更改为FROM apache/beam_python3.7_sdk:latest。根据https://hub.docker.com/r/apachebeam/python3.7_sdk的说法，从2.20.0版本开始有了一个转换。
• My没有使用正确版本的package.

Answer 2

我也有一个类似的问题，Container Status xxxxx service failed和Error Syncing pod

我正在尝试从文件中读取数据，并为流应用程序处理它。一旦我删除了options.setStreaming(true)，它就正常工作了。

流用于无界数据，如从PubSub读取、Kafka和批处理用于从数据库或文件读取有界数据。

Answer 3

对于我来说，当我在运行管道时删除选项--experiments=use_runner_v2时，问题已经解决了。