如何通过sqoop将表从sql server导入到hdfs

Question

我安装了hadoop，hive，sqoop。我将表从我的数据库导入到hdfs，但无法将其导入到配置单元。我需要在配置单元中配置任何文件吗？同样，当我浏览网页时，显示的是MySQL的配置，但我使用的是驱动程序jdbc:sqlserver。有没有人能帮帮我，因为我已经坚持了很多天了。

Answer 1

jdbc:mysql是针对mysql的，它不适用于sqlserver，我尝试过使用它，但它给出了错误。我尝试了下面的命令，它工作得很好。

命令-导入

将数据从数据库表拷贝到HDFS文件系统

在下面的示例中，我们的数据库和hdfs配置为：

• 服务器名称:- labDB
• 数据库名称:-

用户名:- sqoop

• SQL密码:- simp1e

驱动程序类名:- sqoop目录:/tmp/dbo-客户(HDFS文件夹名)<代码>H214<代码>F215

语法：

  sqoop import --connect jdbc:sqlserver://sqlserver-name \
      --username <username> \
      --password <password> \
      --driver   <driver-manager-class> \
      --table    <table-name> \
      --target-dir  <target-folder-name>

示例：

  sqoop import --connect "jdbc:sqlserver://labDB;database=demo" \
       --username sqoop  \
       --password simp1e \
       --driver   com.microsoft.sqlserver.jdbc.SQLServerDriver \
       --table    "dbo.customer" \
       --target-dir  "/tmp/dbo-customer"

https://danieladeniji.wordpress.com/2013/05/06/hadoop-sqoop-importing-data-from-microsoft-sql-server/

Answer 2

您应该能够导入一个表并使用-- Hive -import标志检查是否定义了所有的全局变量，HADOOP_HOME、SQOOP_HOME和HIVE_HOME，如果它对您无效，同时您可以始终使用CREATE EXTERNAL table语法来使用您在配置单元中导入的数据。

Answer 3

您是否在sqoop命令行中使用了特定的--hive-import开关？

Sqoop导入--连接‘jdbc:sqlserver://sqlservername.mycompany.com;username=hadoop;password=hadoop;database=hadoop’--配置单元的表数据--配置单元导入