Apache真的需要Apache吗？在hadoop中是否有使用数据库输入进行处理的替代方法？

Question

众所周知，hadoop使用MapReduce概念。但从逻辑上讲，不可能将数据库拆分为数据块。为此，我们有Apache，它将数据库表的内容导入到HDFS。

我的问题是-和Hadoop一起使用sqoop真的有那么多好处吗？如果是的话，谁能用一个实时的例子来解释我呢?在这个例子中，hadoop已经实现了，可以在数据库上使用MapReduce吗？

如果我知道MapReduce是如何在数据库相关处理中实现的，那就太好了。

提前谢谢。

Answer 1

BigSQL结合了PostgreSQL和Hadoop。MongoDB MapReduce是一个纯MapReduce在“数据库”上的实现。

这就是你要问的吗？

否则，sqoop是伟大的，并被广泛采用。例如：制造业，医疗保健。

Answer 2

Sqoop在Hadoop和MySQL之间的导入和导出数据方面带来了许多简化。但是，如果我们看看它支持的并行性，它支持多个映射任务，我会说它比每个数据库支持的传统导入花费更多的时间。(前mysqldump )

因为如果我们通过-m 10将映射数配置为10，那么Sqoop将分两个阶段完成这项工作。

1. 在表上应用查询，以查找-拆分列的MIN值和最大值。(主键，如果没有配置)
2. 一旦计算出MIN和MAX值，取决于映射的数量，它就会将查询拆分为与每个映射任务对应的特定小范围，然后再转到数据库获取数据并在HDFS中填充数据。

因此，我认为它消耗了X+Y的时间，其中x是传统查询所花费的时间，或者查询是sqoop中第一阶段的结果。

摘要: Sqoop可以简单地用于hadoop和rdbms之间的数据导入和导出。但是，在较短的时间内完成这一任务将于事无补。

Answer 3

sqoop文档中的每一章都提供了关于如何使用它的多个示例，例如：sqoop导入示例调用

一般来说，sqoop是使用MapReduce和SQL数据库在HDFS之间导入/导出数据的最简单方法。

这份报告很好地介绍了Sqoop的用法和内部结构。