将数据从硬盘文件系统导出到MySQL，但在转到MySQL之前应更新数据

Question

我需要将数据从MySQL导入到HDFS，我正在使用Apache Sqoop实现这一点。但问题是，我还需要将数据从HDFS导出到MySQL，并且在将数据移动到MySQL之前，我需要更新这些数据的一列(即在HDFS中)，我该如何做？

Answer 1

您可以直接从hdfs更新列，并可以使用INSER覆盖目录"path“将配置单元输出存储到HDFS，然后使用下面的sqoop命令

 sqoop export \
--connect jdbc:mysql://master/poc \
--username root \
--table employee \
--export-dir /user/hdfs/mysql/export.txt \
--update-key id \
--update-mode allowinsert \
--fields-terminated-by '\t' \
-m 1

希望这能帮上忙..