hadoop - vertica jar

Question

我想把数据从Vertica传输到蜂巢。根据手册，应将下列内容作为输入格式：

-inputformat com.vertica.hadoop.deprecated.VerticaStreamingInput 

但是hadoop有org.apache.hadoop.vertica.VerticaStreamingInput类，而不是上面的类。

因此，它抛出了以下例外：

Exception in thread "main" java.lang.RuntimeException:
  class org.apache.hadoop.vertica.VerticaStreamingInput not
  org.apache.hadoop.mapred.InputFormat

完整的命令是：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-*.jar \  
-libjars $HADOOP_HOME/lib/hadoop-vertica.jar \   
-Dmapred.vertica.hostnames=VerticaHost \  
-Dmapred.vertica.database=ExampleDB \  
-Dmapred.vertica.username=ExampleUser \  
-Dmapred.vertica.password=password123 \  
-Dmapred.vertica.port=5433 \  
-Dmapred.vertica.input.query="SELECT * FROM allTypes ORDER BY key" \   
-Dmapred.vertica.input.delimiter=, \   
-Dmapred.map.tasks=1 \  
 -inputformat com.vertica.hadoop.deprecated.VerticaStreamingInput \  
 -input /tmp/input -output /tmp/output -reducer /bin/cat -mapper /bin/cat

蜂巢为CDH-4.4.0-1.cdh4.0.0.p0.39/环境，vertica为7.1。

如果我搞错了，哪里能找到正确的？如果这不是问题所在，我做错了什么？

那么这个com.vertica.hadoop.deprecated.VerticaStreamingInput类从何而来呢？我是从安装Vertica连接器获得的。(第9页，步骤5) HadoopIntegration.pdf。

Answer 1

我刚刚从MapReduce下载了my.vertica.com上的下载页面的Hadoop。我采用了2.0版本(它支持CDH 4)，因为这是您说要使用的Hadoop版本。

我在下载的文件中查看了hadoop-vertica.jar文件(yarn_1.6.0.zip)，它的类文件位于正确的位置(com.vertica.hadoop.deprecated)。zip文件还包括源代码，因此您可以检查它。

我不知道org.apache.hadoop.vertica.VerticaStreamingInput是从哪里来的，但是下载连接器的新副本会解决您的问题。确保下载JDBC驱动程序并执行文档中描述的其他Java配置。