我正在通过MongoDB ChangeStream,我知道它降低了跟踪oplog的风险-我们目前正在跟踪oplog,以便将数据发布到Kafka。
请帮助我掌握,与Kafka或RabbitMQ等发布/订阅技术相比,changestreams如何更好
发布于 2018-12-19 15:21:56
不应该将ChangeStreams与发布/订阅技术相提并论- ChangeStreams的存在是为了提供一种安全的方法来捕获并处理实时(数据)更改事件(正如您正确地指出的,以前您必须跟踪MongoDB中的oplog才能实现类似的结果,这也有其自身的一系列问题、风险和复杂性,这给开发人员带来了沉重的负担)。
如上所述,ChangeStreams提供了一种安全的方法来查看MongoDB中发生的每个数据更改事件,对这些事件应用过滤器,然后处理每个符合条件的事件。ChangeStreams允许您根据oplog覆盖的时间范围重播之前的事件-例如,如果正在实现ChangeStreams的应用程序失败,您可以从应用程序失败的时间点开始提取。
虽然ChangeStreams从事件识别/处理的角度展示了类似于发布/订阅的行为,但这就是相似之处所在。一个典型/常见的用例是,您有兴趣在MongoDB中捕获/识别用于下游处理的数据更改事件,这是创建一个Kafka生成器,该生成器利用MongoDB驱动程序,实例化一个ChangeStream,对于MongoDB中发生的每个合格事件(通过ChangeStream可用),将该事件传递到Kafka上。
https://stackoverflow.com/questions/52753041
复制相似问题