如何在kappa架构中使用datatorrent？

Question

我读了很多关于lambda和kappa架构的文章，在这些架构中，我们需要使用Apache Spark或Apache Storm。我刚刚发现了一个名为DataTorrent的新工具，它可以进行批处理和实时处理。我想知道DataTorrent是否可以同时做lambda (或kappa)架构的批处理层和速度层？

干杯,

Answer 1

Apache apex或Datatorrent RTS允许您的团队在单个处理框架上进行开发、测试、调试和操作。

虽然在Apache apex文档中没有明确提到kappa架构，但可以使用它来服务kappa架构。

Apache apex将提供对容错、检查点和恢复的内置支持。因此，您可以依靠Apex中的单个数据流DAG以低延迟获得可靠的结果。在Apex上使用DAG定义应用程序时，不需要单独的批次层和速度层。

但是，请注意，Apache Apex是流计算引擎的一个示例。对于完整的Kappa架构，您可以使用日志存储+流计算引擎+服务层存储的组合。

Answer 2

DataTorrent可以用来满足Kappa架构的需求。您可以同时处理批处理数据和实时流数据。

Datatorrent是一种连续流模型，其中批处理数据像流一样流过DAG，而不像Spark那样以批处理的方式流数据。

您可能需要使用不同的运算符端口从不同的输入源输入数据，数据的内存计算由端口上的平台调用负责。

这就像有一个水槽(DT中的操作员)由两个管道(输入端口)供电。