Apache Spark和Apache Apex有什么不同？

Question

Apache Apex -是一个开源的企业级统一流和批处理平台。它用于GE Predix平台的物联网。这两个平台之间的主要区别是什么？

问题

1. 从数据科学的角度来看，它与Spark有什么不同？
2. 提供像Spark MLlib一样的功能吗？如果我们必须在Apache to上构建可伸缩的ML模型，该如何做&使用哪种语言？
3. 数据科学家将不得不学习Java来构建可伸缩的ML模型吗？它有像pyspark那样的python API吗？
4. Apache Apex可以与Spark集成吗?我们可以在Apex之上使用Spark MLlib来构建ML模型吗？

Answer 1

1. Apache Apex是一个处理流数据的引擎。其他一些尝试实现相同目标的是Apache storm、Apache flink。Apache Apex的不同之处在于:它内置了对容错、可伸缩性和可操作性的支持，这些都是生产用例中的关键考虑因素。

将其与Spark进行比较: Apache Spark实际上是一个批处理。如果您考虑Spark streaming (它在底层使用spark )，那么它就是微批处理。与此形成对比的是，Apache apex是一个真正的流处理。从某种意义上说，传入记录不必等待下一条记录进行处理。记录一到达就被处理并发送到下一级处理。

目前，为Apache Apex与机器学习库的集成添加支持的工作正在进行中，这些库包括Apache Samoa，Refer https://issues.apache.org/jira/browse/SAMOA-49

• Currently，，

1. ，H2O。

Python的https://www.datatorrent.com/blog/blog-writing-apache-apex-application-in-scala/，您可以使用Jython进行尝试。但是，我自己也不是没有试过。所以，对此不是很确定。考虑到它们是两个不同的处理引擎，

• 与Spark的集成可能不是一个好主意。但是，Apache apex与机器学习库的集成正在进行中。

如果您有任何其他问题，对功能的请求，您可以将它们发布到apache apex用户的邮件列表中：https://mail-archives.apache.org/mod_mbox/incubator-apex-users/