在探索Akka流时,我还遇到了Apache哪个流处理引擎。Akka流实现反应流并支持背压。
那么,如果我要在两者之间做出决定,我应该选择哪一个呢?它们有何不同之处,相似之处何在?这里的标准应该是什么?
发布于 2020-04-23 12:24:36
我不是Akka流方面的专家,但据我所知,主要的区别是Flink提供了开箱即用的处理分发,而Akka Streams没有,因为它是为处理单个节点上的数据而设计的。
两者之间的相似之处在于,它们都提供了流处理功能,而且在这个意义上,它们可能具有类似的功能。
但是,Flink有多个额外的模块,如SQL、CEP或机器学习,您将无法在Akka流中获得这些模块。此外,Flink提供故障安全和状态恢复,我不确定这是否存在于Akka流中。
另一方面,设置Akka流将需要较少的工作,因为您不需要关心设置JobManager和TaskManager,但是您可以简单地创建一个Java/Scala应用程序,并在某个地方进行文档化和运行。
因此,您应该问自己的主要问题是,如果您正在处理的数据足够大,如果需要在多个节点上进行处理,那么除了Flink之外,您真的别无选择(仅在Akka流与Flink的场景中)。但是,如果要处理的数据可以在单个节点上处理,那么您应该评估所需的故障安全和消息传递保证。在一般情况下,使用Akka流可能更容易开始,但Flink可能接手生产应用程序。
发布于 2020-04-26 14:00:09
Akka是一个实现反应流规范的库。
Apache是一个流引擎。
主要的高级别差异是,在Apache中,您通过对Flink API之一进行编码来创建作业,然后将该作业提交给Apache集群。执行流处理作业的是Apache集群。通过使用Akka流,您将创建一个独立的应用程序。从这个意义上说,Akka流是两者中的一个更轻量级的。
您仍然可以使用StreamRefs分发基于Akka流的应用程序,尽管您需要在代码中显式地这样做,并且需要运行Akka集群。Apache已经管理了一个集群,所以您不需要在代码中显式地这样做(尽管您仍然需要设置并运行集群来提交作业)。Apache内置了一些智能,可以接受一个任务并以最优的方式执行它。并行/分发执行如有可能。你不能用Akka Streams来理解它。
Apache流处理是为了在遇到故障时实现end2end精确一次处理语义。在Akka流中,这种保证需要在代码中显式地实现。
Akka流作为反应性流规范的实现都是关于异步和内存绑定处理的。例如,Akka HTTP构建在Akka之上,因此实现了一个非常高效和轻量级的HTTP协议客户端和服务器端。
Akka流实现异步无阻塞背压(根据反应流规范),以保证执行期间的内存有界性。Apache也有一个背压机构,尽管它不是以相同的方式实现的。
Akka流作为反应性流规范的实现,可以与其他实现(如RxJava或工程堆 )互操作。Apache不是任何更广泛的标准的一部分。
我想说,使用Apache的主要原因是它所带来的一次性保证和自动分发。否则,Akka是一个非常强大的API,具有更简单的执行模型。
编辑:可能值得一提的是项目阿尔帕卡,它为Akka流带来了许多技术,这样就可以将它们插入到基于反应流的处理中。
https://stackoverflow.com/questions/61384492
复制相似问题