此时操作系统的时区为UTC 2.使用HiveCLI查看当前时间 [root@ip-172-31-5-171 ~]# hive hive> SELECT current_timestamp() > 如上测试可以看到通过HiveCLI和HiveServer2访问Hive查询当前时间均与OS的时间一致。 4.测试时区是否生效 ---- 1.使用HiveCLI查看Hive的当前时间 ? 2.使用Beeline登录查询 ? 通过如上测试可以看到Hive使用的是我们指定的上海时区,而非操作系统的时区。 5.总结 ---- 指定Hive时区时需要同时指定HiveServer2和Hive客户端的时区,否则通过HiveCLI和Beeline查询出来的时间显示不一致。
Hive客户端工具后续使用了Beeline 替代HiveCLI ,并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQLLine
5.总结 ---- 1.确保集群所有节点已配置AD集成SSH登录并通过sssd同步用户 2.使用HiveCli命令可以绕过AD认证,未确保Hive访问的安全,这里我们可以禁用HiveCLI,具体禁用可以参考
使用HiveCli命令可以绕过OpenLDAP认证,未确保Hive访问的安全,这里我们可以禁用HiveCLI,具体禁用可以参考Fayson前面讲的《如何在CDH启用Kerberos的情况下安装及使用Sentry
使用HiveCLI命令可以绕过OpenLDAP认证,为确保Hive访问的安全,这里我们可以禁用HiveCLI,具体禁用可以参考Fayson前面讲的《如何在CDH启用Kerberos的情况下安装及使用Sentry
而spark-sql与HiveCLI访问Hive模式一样,都是跳过HiveServer2服务直接访问的HiveMetastore,所以通过spark-sql可以正确获取到kinit的用户。 3.spark-sql客户端访问Hive的模式与HiveCLI的方式一样,跳过HiveServer2直接访问的HiveMetastore,因此在使用spark-sql测试时获取到的登录用户即为当前kinit
使用beeline和HiveCLI都可以登录Hive2.2.0并正常使用。 2.CDH集群已部署Spark1.6且服务正常 ? 提交一个Spark作业测试Spark服务是否正常。 4.验证Hive2 On Spark ---- 1.HiveCLI命令行验证 [root@ip-172-31-5-38 bin]# sudo -u hive .
ant:此组件包含一些ant任务需要的基础代码 bin:此组件包涵hive里的所有脚本,包括hivecli的脚本 beeline: HiveServer2提供的一个新的命令行工具Beeline hcatalog
在未kinit的情况下正常使用HDFS 5.2 Hive服务 使用HiveCLI访问Hive,执行SQL查询及Count操作 ? ? ?
2323 Time taken: 0.523 seconds, Fetched: 11 row(s) hive> [9anv5bwaq7.jpeg] 使用fayson用户测试,此用户被禁止使用HiveCLI java.net.SocketException: Connection reset hive> [ccbxhyvzss.jpeg] 测试总结: 通过Hive配置(hadoop.proxyuser.hive.groups)可以限制用户组使用HiveCLI
在未Kinit的情况下正常使用Hadoop命令 2.Hive服务验证 使用HiveCLI访问Hive,执行SQL查询及Count操作 ?
5.Hive2验证 ---- 1.HiveCLI命令行验证 [root@ip-172-31-5-171 bin]# sudo -u hive ./hive (可左右滑动) ?
函数扩展 5.MAPREDUCE2 ●Zookeeper 1.Zookeeper 2.Shell详解 3.HBase 4.函数扩展 ●Hive 1.Hive的安装配置 2.HiveCLI
以Hive为例,下图为个推环境上Hive访问HDFS数据的几种方式,这里的HiveCli、Hiveserver2都要做相应的适配: 3、损坏校验 在社区提交的EC相关的bug中,我们发现有一些bug会导致编码的数据损坏
mysql中,需要注意: ①元数据存储的数据库的编码必须为latin1 ②mysql的 binlog_format=mixded|row 1.5 hive的交互参数 -d: 定义一个变量名=变量值,在hivecli -S: 静默模式,不输出和结果无关的多余信息 –hiveconf 属性名=属性值: 在hivecli启动之前定义一个属性名 1.6 在hive中如何查看变量 set: 查看当前cli所有的变量 set 变量名: 查看某个指定变量的值 set 变量名=变量值: 修改某个变量的值 1.7 连接hive的方式 ①使用hivecli ②可以使用JDBC方式连接hive a)启动JDBC的服务端----