为什么我们需要TFX如果我们有气流来协调

Question

我还是不明白为什么我们需要TFX。TFX将您定义的管道转换为气流DAG并在气流上运行它，我只需用python编写我的管道，并使用气流的PythonOperator直接构建管道，对吗？为什么还要在上面学习另一个包装器呢？还有什么是TFX提供的，仅仅使用气流+TF+火花/束是做不到的

Answer 1

我可以用python编写管道，并使用气流的PythonOperator直接构建管道，对吗？

你可以的!当然，这取决于您如何定义管道。

以下是TFX的定义，来自于它的指南

TFX是一个基于TensorFlow的谷歌生产规模机器学习(ML)平台，它提供了一个配置框架和共享库，以集成定义、启动和监视机器学习系统所需的公共组件。

以及制作一个生产ML系统

​

​

根据Tensorflow的工程师的说法。

因此，如果您可以定义一个完整的系统，您可以覆盖所有这些步骤的气流DAG，确保您不需要TFX。

P.S.：

这可以归结为您想要解决的问题。以下是一些需要思考的问题。

• 你手头有需要的数据吗?有价值吗？
• 在给模特之前，你需要调整一下吗？
• 你应该使用哪种型号？
• 当你得到新的数据时，你会重新训练这个模型吗？如果是这样的话，这一过程的期限应该是什么？
• 当您正在进行推理时--或者为您的模型服务--您将如何使用预测的结果？
• 你评价你的服务成功的门槛是多少？您应该使用什么度量标准？

要了解更多信息，您可以查看这里。

Answer 2

TFX是一个Google生产规模的机器学习(ML)平台，它提供了一个配置框架和共享库来集成定义、启动和监视机器学习系统所需的公共组件。有关更多细节，请参阅正式文件。

使用TFX的优点：

• 包括Apache气流，TFX被设计成可移植到多个环境和编排框架，如Apache和Kubeflow管道。
• TFX提供了一组标准组件、库和基础。 许多标准组件的功能，这有助于 实现ML流水线。

Answer 3

dr气流并不是持续训练管道的有效调度器，TFX正在使用它作为不需要CTP的工程师的后备机制。

当涉及到CTP时，TFX会发光。They need to have data-driven execution of their components, to

1. operate asynchronously at different iteration intervals
2. reuse results from previous runs

CTP cannot be implemented effectively as the repeated execution of one-off pipelines at scheduled intervals，也称任务型，如气流.

Developers who are used to seeing jobs execute in sequence, as they were defined in a directed acyclic graph (DAG), are not accustomed to runs being triggered by the presence of a specific configuration of artifacts, as represented by the pipeline state. As a solution, TFX introduces a framework that allows users to specify job dependency as they would in a taskbased orchestration system. This also allows users of the open source version of TFX to orchestrate their TFX pipelines with task-based orchestration systems like Apache Airflow.

灰色文本参考：TensorFlow扩展平台下生产ML的连续培训