使用Oozie和Sqoop将数据从HiveQL导出到MySQL

Question

我在配置单元中有一个表(定期更新)，我希望在我的一个具有MySQL数据库的工具中拥有该表。我不能简单地将我的应用程序连接到配置单元数据库，所以我想将这些数据直接导出到MySQL数据库中。

我搜索了一下，发现使用Sqoop是可行的，而且我被告知要使用Oozie，因为我想定期更新表并导出它。

我已经环顾了一段时间，尝试了一些东西，但到目前为止我还不能成功，我就是不明白我在做什么。

到目前为止，我能理解但不能工作的唯一代码是这样的：

export --connect jdbc:mysql://myserver
--username username
--password password
--table theMySqlTable
--hive-table cluster.hiveTable

我见过有人使用临时表，并将其导出为txt文件，然后再导出它，但我不确定我是否能做到这一点。Oozie也应该有特定的参数吗？我不是管理员，所以我不确定我是否能做到这一点...

谢谢！

Answer 1

尝尝这个。

sqoop export \
--connect "jdbc:sqlserver://servername:1433;databaseName=EMP;" \
--connection-manager org.apache.sqoop.manager.SQLServerManager \
--username userid \
-P \
--table theMySqlTable\
--input-fields-terminated-by '|' \
--export-dir /hdfs path location of file/part-m-00000 \
--num-mappers 1 \