从hdfs到mysql的Sqoop导出特定列不能正常工作

Question

我的HDFS文件包含5列。

emp_no,birth_date,first_name,last_name,hire_date

我只想用3列导出它：

emp_no,first_name,last_name

我和你在一起

sqoop export
  --connect jdbc:mysql://mysql.example.com/sqoop
  --username sqoop
  --password sqoop
  --table employees
  --columns "emp_no,first_name,last_name"
  --export-dir /user/dataset/employees

但是我要把emp_no，birth_date和first_name放在MySQL桌子上。

我在我的表中有3列，但是我想跳过的一列不会发生在--columns in sqoop export中。

Answer 1

我解决了我的问题。实际上，我误解了选项--导出列。

使用--columns选项进行导出，我们可以选择列的子集或控制表列(或目标mysql列)的顺序，而不是HDFS列。

此选项决定HDFS源列与目标表的- columns选项中提到的列的绑定。

例如，如果我在sqoop命令中提到--列"col2，col3，col1“，其中col1、col2、col3是mysql表的列

然后将col2与HDFS源的第一列绑定，将col3与HDFS源的第二列绑定，等等。