如何在生产中重用TFX转换进行推理(流水线)？

Question

我想使用TFX构建一个训练管道，并最终重用我的数据转换来向TensorFlow-Serving发出推理请求，而TFX应该能够做到这一点。我发现的TFX示例似乎都构建了一个批量训练管道，并最终在TensorFlow-Serving中推送模型，但它们没有解决推理部分，由于延迟原因，推理部分必须是流管道。我也许可以编写自己的工具来发出请求，但不将我的转换组件重用于推理部分似乎是一种浪费。

我已经在本地运行了通过TFX示例安装脚本安装在dags中的示例。airflow UI清楚地表明这些是批处理管道。

Answer 1

TFX允许您在训练管道中定义转换逻辑，并将逻辑保存为结果模型图的一部分，以便您保存的模型将包括转换和通常的模型，tf serving将能够接受转换前数据格式的请求，并在不需要任何额外工作的情况下进行适当的转换和模型推断。因此，根据设计，TFX不参与推理。