Meltano Kafka Monk.io集成

Question

我正在尝试Monk.io和Kafka - Meltano集成。因此，我想创建一个Monk.io Kafka集群，并在Meltano上提供一个新的连接。我正在使用https://github.com/lensesio/fast-data-dev for Kafka env。什么是最好的方法，并且最有意义？我计划这样做:创建Kafka和Meltano的runnables，并为Meltano模板创建Monk操作。这些操作将有自定义的Meltano加载器，它将为Kafka提供管道。

Answer 1

我还没有测试与Kafka的集成，但在操作方面应该类似于Postgres，即如果存在针对Meltano的Kafka插件，则添加一个加载器或提取器。

  actions:
    defines: actions
    add:
      arguments:
        resource-type:
          type: string
        resource-name:
          type: string
      code: exec("meltano", "/bin/sh", "-c", `cd elt && meltano add ${args["resource-type"]} ${args["resource-name"]}`)

工作流和模板在这里是抽象的，所以https://github.com/monk-io/monk-dataops是否有一个好的Kafka插件是一个更大的问题