Jupyter notebooks作为Kedro节点

Question

如何使用Jupyter Notebook作为Kedro管道中的节点？这不同于converting functions from Jupyter Notebooks into Kedro nodes。我想要做的是使用完整的notebook作为节点。

Answer 1

虽然这在技术上是可行的(例如，通过nbconvert )，但对于multiple reasons，包括笔记本电脑缺乏可测试性和可重复性等问题，强烈不鼓励这样做。

最佳实践通常是保持流水线节点函数的pure (如果适用)，这意味着它们不会引起任何副作用。笔记本电脑的工作方式通常与这一原则相矛盾。

Answer 2

AFAIK Kedro不支持，但Ploomber支持(免责声明:我是作者)。任务可以是笔记本、脚本、函数或它们的任意组合。您可以在本地运行、Airflow或Kubernetes (使用Argo工作流)。

如果使用笔记本或脚本作为管道任务，则Ploomber会在您运行管道时创建一个副本。例如，您可以创建函数对数据进行预处理，并在notebook中添加训练模型的最终任务，这样您就可以利用ipynb格式为模型训练过程生成报告。

这是管道声明的样子：

tasks:
  - source: notebook.ipynb
    product:
      nb: output.html
      data: output.csv

  - source: another.ipynb
    product:
      nb: another.html
      data: another.csv

资源：

• Repository
• Exporting to Airflow
• Exporting to Kubernetes
• Sample pipelines