我有一个气流运行KubernetesPodOperator为了做一个星火提交呼叫:
spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
dag=dag,
task_id='myApp',
name='myApp',
namespace='data',
image=spark_image,
cmds=['/opt/spark/bin/spark-submit'],
configmaps=["data"],
arguments=[
'--master k8s://https://10.96.0.1:443',
'--deploy-mode cluster',
'--name myApp',
f'--conf spark.kubernetes.container.image={spark_image}',
'local:///app/run.py'
],但是,我得到了以下错误:
Error: Unrecognized option: --master k8s://https://10.96.0.1:443这是很奇怪的,因为当我将/bash放入运行中的荚中,并执行-submit命令时,它会工作。
知道如何按预期传递参数吗?
发布于 2020-12-03 15:10:18
来自GitHub票证的解决方案:参数应该发送如下:
'--master=k8s://https://10.96.0.1:443',https://stackoverflow.com/questions/65023418
复制相似问题