flink流道梁上的Tensorflow变换

Question

这似乎很愚蠢，但这是我在这里的第一篇文章。抱歉做了什么错事。

我目前正在使用TFX0.11(即tfdv-tft-tfserving)和tensorflow 1.11 (使用python2.7 )构建一个简单的ML管道。我现在有一个apache集群，我想将它用于TFX。我知道TFX背后的框架是ApacheStreams2.8，而且它(Apache)目前通过一个可移植的运行层支持使用python的flink。

但问题是我如何使用带有flink跑步器的apache横梁在TFX (tfdv-tft)中编写代码，因为TFX目前似乎只支持DirectRunner和DataFlowRunner (Google )。

我已经在网上搜索了一段时间，在TFX网站上看到了最后一行，

“请使用tensorflow-transform标记指示有关使用tf.Transform的任何问题到堆栈溢出。”

所以我才来这里。任何想法或解决办法都是非常感谢的。谢谢!

Answer 1

谢谢你的提问。

免责声明:可移植的Flink Runner仍然处于试验阶段，只会处理少量的输入数据。

下面是如何通过光束在Flink上运行TFX。

先决条件

• Linux
• Docker
• 光束回购：https://github.com/apache/beam
• 分布式文件系统的输入和输出。

运行python管道的说明：https://beam.apache.org/roadmap/portability/#python-on-flink

注:我们目前只支持Flink 1.5.5

使用说明

1)建造工人集装箱：

• 到束流结账处
• 运行gradle命令：./gradlew :波束-sdks容器:docker

2)用于Flink的游梁JobServer：

• 到束流结账处
• 运行gradle命令：./gradlew波束运行程序-flink_2.11-作业服务器: Run注意:该命令在启动作业服务器并使其继续运行时不会完成。

3)提交一条管道

• 请参阅flink.sh
• 注意:确保将下列标志传递到管道

 `--experiments=beam_fn_api      --runner PortableRunner      --job_endpoint=localhost:8099      --experiments=worker_threads=100      --execution_mode_for_batch=BATCH_FORCED`