无法使用PDI步骤连接到HDFS

Question

我已经成功地将Hadoop2.4配置在来自Windows 8系统的Ubuntu14.04VM中。Hadoop安装工作非常好，而且我还可以从我的windows浏览器中查看Namenode。附图如下：

​

​

所以，我的主机名是: ubuntu和hdfs端口: 9000 (如果我错了，请纠正我)。

Core-site.xml：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ubuntu:9000</value>
</property>

问题是在从我的五旬节数据集成工具连接到HDFS时。附图如下。PDI版本: 4.4.0步骤使用: Hadoop

​

​

请帮助我连接到HDFS使用PDI。为此需要安装或更新任何jar吗?？如果您需要更多的信息，请告诉我。

Answer 1

PDI4.4 afaik不支持Hadoop2.4。在任何情况下，文件中都有一个属性，必须设置为使用特定的Hadoop配置(您可以在论坛中看到"Hadoop配置“，称为"shim”，等等)。在data-integration/plugins/pentaho-big-data-plugin/plugin.properties文件中有一个名为active.hadoop.configuration的属性，默认情况下它被设置为"hadoop-20“，该属性引用ApacheHadoop0.20.x发行版。你会想把它设置为“最新”发行版，这是五旬节带来的，或者像我的博客文章中所描述的那样，建立你自己的shim：

http://funpdi.blogspot.com/2013/03/pentaho-data-integration-44-and-hadoop.html

即将发布的PDI版本(5.2+)将支持包括Hadoop 2.4+在内的供应商发行版，因此请注意PDI市场和pentaho.com :)