与TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT的Sqoop兼容性

Question

对于我的一个项目，我想使用sqoop将MySQL数据库中的多个表传输到蜂箱中。因为我有几列使用MEDIUMTEXT数据类型，所以我想检查与有经验的人的兼容性，以防止突然的意外。

取自最新的Sqoop用户指南(1.4.6)，BLOB、CLOB或LONGVARBINARY列在直接模式下不兼容。

考虑到没有提到与“文本”数据类型不兼容的问题，我是否能够毫无问题地从MySQL导入它们？

Answer 1

我终于为我的项目设置了hadoop集群。我使用Hadoop2.6.3和hive1.2.1和sqoop1.4.6。结果表明，使用Sqoop将文本数据类型从MySQL导入到Hive中没有问题。您甚至可以提供‘-直接’参数，使用mysqldump工具进行更快的传输。在我的项目中，我必须导入多个表，每个表包含两个MEDIUMTEXT列。每个表只有大约2GB，所以没有那么大。

我希望这能帮助那些和我在同一个位置的人。

Answer 2

在MySQL中，文本与CLOB相同。对于CLOB而言，用户指南提到的任何限制都适用于文本类型。

与典型的数据类型不同，CLOB和TEXT不需要将数据内联存储到记录中，而是可以将内容存储在单独的文件中，并且记录中将有指针。这就是为什么在大多数数据库中，直接路径不适用于CLOB/TEXT、BLOB这样的特殊类型。