基于Hadoop的大数据批和流数据管道

Question

我正在设计下面的流程，并想知道我是否以正确的方式。我想跳过任何不必要的步骤，如果添加。我在火花引擎上运行了Hadoop。

下面的

• 需要批量的和流式的数据。
• flow需要使用mysql来提取数据并存储在
• 组中，以便运行metedata查询
• ，然后需要使用please

h 19执行复杂的

• 操作，然后在rdbms H 210H 111H 111数据中使用Apache H 212H 113/code>来报告数据，整个流应该由调度程序来运行，因为使用气流可以检查和建议是否遗漏了一些东西，以便使这种流的鲁棒性<>H 214/code>。

​

​

Answer 1

使用Debezium从RDBMS中提取。因此，所有的写作都以卡夫卡结尾，你根本就没有“批次”。(Sqoop是一个退休的Apache项目)

使用阿帕奇皮诺或德鲁伊直接摄入卡夫卡。那么你就不需要HDFS了。

您可以使用SQL查询Pinot / Druid。或者您可以使用Presto代替Hive/SparkSQL，您应该能够将SuperSet链接到Presto，而不是中间的RDMBS。