我最近对Hive版本进行了升级,从1.2.1升级到2.3.0,并从HDP-EC2升级到EMR。
下面是执行所有查询所使用的shell脚本格式,
ssh -T -i key.pem uname@99.99.99.99 <<EOF
hive <<EO1
<Hive-Query>
EO1
EOF在1.2.1版本中,用于stdout运行时日志的正在运行的shell脚本(包括正在执行的查询)和运行中的映射程序/还原器都是实时计数的。
在带有hive 2.3.0版本的EMR中,使用完全相同的脚本,日志除了查询完整通知之外什么都没有。
期望测井
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_********_0373)
Map 1: -/- Reducer 2: 0/36
Map 1: 0/191 Reducer 2: 0/36
Map 1: 0(+1)/191 Reducer 2: 0/36
Map 1: 0(+22)/191 Reducer 2: 0/36
Map 1: 0(+44)/191 Reducer 2: 0/36
Map 1: 0(+62)/191 Reducer 2: 0/36
Map 1: 1(+61)/191 Reducer 2: 0/36
Map 1: 2(+61)/191 Reducer 2: 0/36
Map 1: 2(+62)/191 Reducer 2: 0/36
.
.
.
.
.
Moving data to directory hdfs://ip-***************电流日志在电子病历中的应用
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1592149437885_0947)
Moving data to directory hdfs://ip-***************任何关于什么更改的指针都会导致日志消失?
注意:当直接在集群中执行查询时,日志就在那里。但是当通过ssh执行时,日志就丢失了。
发布于 2022-02-25 07:55:23
您可以使用ssh -t或ssh -tt远程运行命令。
https://stackoverflow.com/questions/62204808
复制相似问题