将[hazelcast-jet]添加到现有应用程序

Question

我有一个现有的应用程序，它使用Hazelcast来跟踪集群成员关系和执行分布式任务。我在想，Jet对于在现有应用程序上添加分析可能很有用，我正在尝试找出如何在现有应用程序的基础上更好地分层Jet。

所以我的第一个问题是，如何在我们现有的Hazelcast配置之上运行Jet？我是否必须单独运行Jet，或者用Jet替换现有的Hazelcast配置(因为Jet确实公开了HazelcastInstance)。

我的第二个问题是，我看到了很多使用IMap和IList的例子，但我没有看到任何使用主题作为源代码的东西(我也不认为这是源代码构建器的一个选项)。我使用Jet的最初想法是从现有代码向主题发出事件(io性能数据、http请求数据)，然后让Jet处理该主题，从该数据生成分析，然后将其推送到IMap。这是错误的方法吗？我是否应该使用其他结构将这些事件推送到Jet中？我发现我可以制作自己的自定义源代码，这样我就可以做到这一点，但我觉得如果我正在追求这一点，那么我肯定走错了路，因为库中还没有为这个特定目的提供的源代码。

Answer 1

您可以将当前的Hazelcast IMDG集群升级到Jet集群，并在运行Jet作业的同时运行遗留应用程序。此设置更易于部署和操作。为Jet启动一个额外的集群也是非常好的。它的优点是隔离(集群生命周期、故障等)。请注意，您不能将IMDG 3.x与Jet 4.x集群相结合。

使用IMap with Journal连接两个作业或将数据注入群集。OOTB是最简单的容错选项。Jet的数据源必须是可重放的-如果Job失败，它将返回到最后状态快照，分别倒带数据源偏移量。

可以使用主题(通过Source Builder)，但它不能容错(某些消息可能会丢失)。Jet通过定期拍摄作业快照来实现容错。如果出现故障，将恢复最新的快照，并重播快照之后的数据。与日志不同，主题消费者不能使用偏移量重放数据。