在Databricks工作流中将参数传递给DLT任务

Question

我正在使用Databricks工作流。我有一份工作由三项任务组成：

引用普通数据库pipeline

• PostExec -引用普通数据库记事本

• dlt -引用dlt

• -引用普通数据库记事本

我使用参数选项将一个参数传递给第一个任务。在笔记本中，我用以下代码注册了参数，以便在后面的任务中引用它: dbutils.jobs.taskValues.set("parmater_1"，parameter_value)

然后，我可以在使用以下代码引用笔记本的任务中引用此参数: parameter_1 =parameter_1 key="parmater_1")

但是，我不能在引用DLT管道的任务中引用此值。当我运行上述代码时，它会产生以下错误：TypeError:在调用get时必须在作业上下文之外传递debugValue。debugValue不可能是零。

我知道DLT使用配置，但是否可以在以编程方式传递给DLT步骤的第一步中持久化一个参数？

Answer 1

DLT不支持任务值.您只能传递在管道设置或Spark中定义的配置参数。