将Sqoop数据从HDFS移动到Hive

Question

在使用Sqoop将一堆大型MySQL表导入到HDFS中时，我忘记了包含--hive-import标志。所以现在我把这些表放在HDFS中，我想知道是否有一种简单的方法可以将数据加载到Hive中(而无需自己编写load data语句)。

我尝试使用sqoop create-hive-table：

./bin/sqoop create-hive-table --connect jdbc:mysql://xxx:3306/dw --username xxx --password xxx --hive-import --table tweets

虽然这确实创建了正确的hive表，但它没有向其中导入任何数据。我有种感觉我遗漏了一些简单的东西。

需要说明的是，我使用的是弹性MapReduce和Sqoop1.4.1。

Answer 1

您不能在配置单元中创建一个外部表并将其指向这些文件吗？

create external table something(a string, b string) location 'hdfs:///some/path'

Answer 2

您没有在命令中指定"import“。语法为sqoop tool-name tool-arguments

它应该看起来像这样：

$ sqoop 导入表--创建配置单元----连接jdbc:mysql:// xxx :3306/dw --用户名xxx --密码xxx--配置单元导入--表推文