JNI在Dataflow

Question

我需要在我的数据流管道中使用JNI。JNI使用C++库，它对其他系统库具有大量的外部依赖。当工作人员运行使用DoFn库的C++时，确保库在操作系统中的位置的最佳方法是什么？

我发现，DataflowPipelineOptions.setWorkerHarnessContainerImage可能允许我从中指定定制的停靠映像，我可能会在其中安装一堆库，但文档并没有说明更多内容。在安装的软件包、入口点等方面，是否对码头映像有任何要求？

Answer 1

Apache最近发布了一个从数据流工作器调用子进程的示例。该解决方案动态地在DoFn的@Setup 方法中对二进制文件进行处理，然后为管道处理的每个记录动态地对二进制文件进行执行。该解决方案还处理集资来自进程的输出和将故障传播到管道。