Sqoop和Vertica

Question

这里有人使用过sqoop和hp vertica吗？

我正在尝试将数据从sqoop导出到vertica，但我发现性能非常差。

我可以切换到HP vertica连接器...但我仍然想知道为什么sqoop在将数据导出到vertica时运行如此缓慢。

我还发现，在插入数据时，sqoop不支持针对vertica的upsert。我想知道这个问题是否会很快得到解决？

sqoop export -Dsqoop.export.records.per.statement=1 --driver 
com.vertica.jdbc.Driver --mysql-delimiters  --username **** --password **** --
connect jdbc:vertica://hostname/schema?ConnectionLoadBalance=1 --export-dir <hdfs-
data-dir> --table <table_name>

其中一个问题是sqoop迫使我们将Vertica的sqoop.export.records.per.statement设置为1。否则它会抛出一个错误。

Answer 1

我从未使用过sqoop，但vertica中的命令行数据导入功能使用了复制功能；基本上它会创建一个临时文件，然后在后台执行文件导入。这不是一个很好的解决方案，但是您可以尝试将数据转储到gzip，然后直接运行复制功能。我发现gzip总是超过某个阈值(~50Mb+)的文件的瓶颈，而不是副本。可能是通向更快导入的后门。

Answer 2

我使用的是vertica数据库的sqoop，我使用sqoop将数据从vertica导出到hive/HDFS，然后它就可以工作了，您只需要将vertica jar添加到sqoop文件夹中即可。当我想对HDFS/Hive中的数据进行asq vertica时，我使用vertica的hcatalog。在版本8.1.*中，它与vertica数据库一起提供，您不需要更多的连接器。

hcatalog