Hortonworks Hive和SpagoBI

Question

我想连接hortonworks hive与SpagoBI工作室，我正在使用jdbc驱动程序进行连接，但它不工作，请任何人解决这个问题。

谢谢你

Answer 1

首先，您应该为spagobi创建一个环境文件。在该文件中，您需要提供hive lib和hadoop -core.jar(对于hadoop版本1) jars的路径。

然后，您需要执行运行环境文件，然后启动SpagoBI。它会正常运行。

基本上，这个环境文件提供了hive lib的.jar(包括您的hive-jdbc-*.jar)对SpagoBi的访问

环境文件是

HADOOP_HOME=/usr/lib/hadoop
HIVE_HOME=/usr/lib/hive

echo -e '1\x01foo' > /tmp/spagobi/a.txt
echo -e '2\x01bar' >> /tmp/spagobi/a.txt


CLASSPATH=.:$HADOOP_HOME/hadoop-core.jar:$HIVE_HOME/conf

for i in ${HIVE_HOME}/lib/*.jar ; do
    CLASSPATH=$CLASSPATH:$i
done
`        

只需将代码保存在文件中

spagobi.env

然后通过. spagobi-env.env执行该文件

Answer 2

如果您使用的是hive的更新版本，请下载下面给出的一些jar文件：- 1. hadoop-common-2.6.0.2.2.0.0-2041.jar 2. z-hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar

然后，在SpagoBI Studio ->中，转到data source connection ->，选择hive driver ->，然后添加新的驱动程序文件"z-hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar“-> ->，然后选择ok。

然后，提供凭据以连接到下面给出的配置单元：

URL : jdbc:hive2://localhost:10000/xyz

驱动程序: org.apache.hive.jdbc.HiveDriver

毫无疑问，这是可行的。

谢谢你，阿曼

Answer 3

编辑server.xml

路径：All-In-One-SpagoBI-X.X.X\conf\server.xml

添加：

<!-- Hive Configuration-->
<Resource name="jdbc/hive" auth="Container" type="javax.sql.DataSource" driverClassName="org.apache.hive.jdbc.HiveDriver" 
 url="jdbc:hive2://data_node_server.com:10000/wsms" username=" " password=" "
 maxActive="20" maxIdle="10" maxWait="-1"/>

编辑context.xml

路径：All-In-One-SpagoBI-X.X.X\webapp\spagobi\meta-inf\context.xml

添加：

<ResourceLink global="jdbc/hive" name="jdbc/hive" type="javax.sql.DataSource"/>

对每个引擎的所有context.xml执行相同的操作：

All-In-One-SpagoBI-XXX\webapps\XXXEngine\META-INF

在All-In-One-SpagoBI-XXX\lib中添加以下Jars

1. httpcore-4.3.jar
2. httpclient-4.3-beta2.jar
3. httpclient-4.2.jar
4. hadoop-common-xxx.jar
5. hive-exec.jar
6. hive-jdbc-xxx.jar
7. hive-metastore-xxx.jar
8. hive-service-xxx.jar
9. slf4j-api-xxx.jar (存在于webapp/spagobi/web-inf/lib)
10. hadoop-auth-xxx.jar中(可选，但建议-kerberos或其他authentication)

可能需要

数据源

Label           :   hive2_conn  (hive-jdbc-1.2.1000.2.4.0.0-169)    
Description     :   Connecting to hive
Dialect         :   Hive QL
url             :   jdbc:hive2://server_name.com:10000/wsms (Note use data node server address , name node server wont work)
user            :   hive_user_name  
pwd             :   hvie_user_pwd                       
Driver          :   org.apache.hive.jdbc.HiveDriver

环境变量- Hive Server (Data Node) (为数据源中使用的用户设置变量)

vi ~/.bash_profile
HADOOP_HOME=/usr/hdp/2.4.0.0-169/hadoop
HIVE_HOME=/usr/hdp/2.4.0.0-169/hive    CLASSPATH=.:$HADOOP_HOME/*.jar:$HADOOP_HOME/lib/*.jar:$HIVE_HOME/lib/*.jar

Hadoop服务器配置(hive-site.xml)：

<!-- hive Multi user Support -->
<property>
  <name>hive.support.concurrency</name>
  <description>Enable Hive's Table Lock Manager Service</description>
  <value>true</value>
</property>

<property>
  <name>hive.zookeeper.quorum</name>
  <description>Zookeeper quorum used by Hive's Table Lock Manager</description>
  <value>zk1.myco.com,zk2.myco.com,zk3.myco.com</value>
</property>

<property>
    <name>atlas.hook.hive.maxThreads</name>
    <value>50</value>
</property>

<property>
  <name>atlas.hook.hive.minThreads</name>
  <value>5</value>
</property>

<!-- Configute to Support HTTP protocol default value binary (set it to http)-->
<property>
  <name>hive.server2.transport.mode</name>
  <value>http</value><!--default is binary-->
</property>

<!-- Query Optimization -->
<!-- Enable Cost Based Optimization , To Optimize Query Executio plan default value false  (set it to True) -->
<property>
  <name>hive.cbo.enable</name>enter code here
  <value>true</value>
</property>