我应该从Kafka ETL中提取技术细节吗？

Question

将ERP (或任何其他可能带有复杂的技术数据模型的“标准软件”)作为源连接到kafka系统的最佳实践是什么？

您是否建议使用源数据库中的视图隐藏这些技术细节？不确定视图是否可以在oracle的JDBC源连接器内“触发”复制。

我能想到的另一种方法是使用它的Stream API在kafka中“连接”所有这些表。这样，源数据库系统就不会被用于执行“ETL连接”。

Answer 1

您可以从为ERP软件创建(假设尚不存在) Kafka Connect源连接器开始。在这篇文章中，试着隐藏处理ERP技术细节的复杂性。您还可以执行一些简单的无状态转换，将ERP模型的细节抽象为您的域模型。我的经验告诉我，这是不够的，如果它很复杂，输出仍然会在某种程度上绑定到源模型。请记住以在您的域中有意义的方式对数据进行分区。

接下来，一旦您在kafka中获得了数据并进行了良好的分区，您就可以在Kafka Streams中进行进一步的处理。它们具有容错(使用Kafka v0.11，甚至是事务性的)状态处理功能，并允许轻松地在主题之间进行连接。