HDInsight和Talend Open Studio for Big Data

Question

我目前正在做一个项目，在这个项目中我需要将Talend open Studio for Big Data (v6.3.1)连接到Azure的HDInsight (3.5) Hadoop Cluster。到目前为止，我正在尝试一个简单的示例，它包括创建一个配置单元表。

为此，我使用了下面的图表：

​

​

配置单元连接配置如下：

​

​

…tHiveCreateTable_1节点的规格说明如下：

​

​

通过运行此过程：·创建了指定的容器和部署Blob (见下图)-这让我相信Windows存储配置一切正常

​

​

·然而，tHiveCreateTable_1节点有一个错误(见下图)

​

​

·我坚信这与主机名和端口有关；·我尝试使用集群的主机名和我们可以在Ambari找到的Hive服务器的主机名(见下图)

​

​

·但它们都没有像预期的那样工作。

有没有人尝试过类似的东西？

注意:说Talend支持的Azure版本是3.4似乎是相当重要的，然而，我使用的是3.5，可能就是它。

非常感谢您提前给予的帮助。

Answer 1

根据官方docuemnt关于Hadoop组件和随HDInsight提供的版本之间的差异，Hadoop 3.5基于Hortonworks Data Platform(HDP2.5)，而HDInsight 3.4基于HDP2.4。但是，它们的Hive组件或其他组件的版本差异并不大。因此，我的建议是，您可以尝试使用相同的Azure存储帐户为您当前的HDI 3.5创建HDI 3.4，而不会对您的需求产生更多影响。