ETL管道的数据整合

Question

我目前正计划将一些数据来源移到一个地方进行后继分析。

目前，我有任何数据源(数据库)，例如：

• MSSQL
• Mysql
• mongodb
• 波斯特格斯

卡桑德拉将用于大数据管道中的分析。将任何源迁移到Cassandra集群的最佳方法是什么？

Answer 1

我强烈建议在这个用例中使用NiFi。一些好处，我可以马上概述。

• 内置的“处理器”可用于从所有列出的数据源读取数据并写入Cassandra。
• 非常高的吞吐量和低延迟。
• 快速的数据采集流水线开发，无需编写大量代码。
• 如果需要的话，可以轻松地在项目的后面进行“更改数据捕获”。
• 提供高度并发的模型，而不需要开发人员担心并发的典型复杂性。
• 本质上是异步的，它允许非常高的吞吐量和自然缓冲，即使在处理和流量波动时也是如此。
• 资源受限的连接使得诸如背压和压力释放等关键功能变得非常自然和直观。
• 数据进入和退出系统的点以及它是如何通过的是很容易理解和跟踪的。
• 最重要的是开源。

您可以参考Apache NiFi主页获得更多信息。

希望这能帮上忙！