Oracle Hadoop连接器诉Sqoop

Question

我使用了Sqoop来摄取从Oracle到Hadoop的数据，它运行得很好。只需4分钟就能将8600万条记录从Oracle带到Hive表，而无需使用Sqoop上的分区。谁能给出一些关于Oracle Hadoop连接器的细节，它的性能会比Sqoop更好吗？

Answer 1

大多数连接器的性能与您的工作流的最末端有一组MapReduce作业的性能相近，这将在您的总体性能中发挥主要作用。

Oracle为访问Hive提供了一组不同的连接器，您可以检查有关标准解决方案的很好的概述，但我怀疑最终您是否会期望在Sqoop中看到其他显著的性能差异：

01/doc.20/e36961/start.htm#BDCUG119

Sqoop是用于处理Hadoop领域的关系数据库的通用工具，它不受Oracle的限制。此外，它还与其他Hadoop解决方案(如Oozie )集成，用于创建复杂的工作流，这使它成为其他类型连接器的良好选择。

就我个人而言，我更喜欢用于Hadoop驱动的导入导出操作的Sqoop，以及用于查询Hadoop中数据的连接器方法。

Answer 2

Sqoop将利用标准的JDBC连接。Oracles连接器将使用集成到sqoop连接中的快速加载程序/快速导出类。Sqoop应该更快。