首页
学习
活动
专区
圈层
工具
发布

如何获取Hive正在执行或已结束的SQL语句

本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件,另一种是通过Cloudera Manager...---- 1.通过YARN执行作业的xml配置文件 1.通过Hue执行SQL查询,Job Browser页面可以获取该SQL执行的ApplicationID,如下: image.png 2.通过ApplicationID...1534299721148_0845/conf > a.xml image.png 通过hive.query.string属性过滤查看a.xml文件 image.png 通过获取接口,可获取运行中Hive作业的SQL语句...,该信息对应HDFS的 /user/$USER/.staging/$JOBID/job.xml文件 3.如果作业执行完成将接口改为JobHistory的API接口执行,执行如下: curl -...SQL语句,该信息对应HDFS的/user/history/done/2018/08/28/000000/job_1534299721148_0845_conf.xml文件 ---- 2.通过Cloudera

11.6K00

java 主线程等待子线程执行完后再执行

这里记录一下下面这种情况:主线程需要等待多个子线程执行完后再执行。...子线程正在执行:Thread-5 子线程正在执行:Thread-6 子线程正在执行:Thread-7 子线程正在执行:Thread-8 主线程正在执行后:main 子线程正在执行:Thread-9 可以看到...* 测试点:主线程等待子线程全部执行完后再执行 */ public class ThreadTest { /**初始化CountDownLatch,值为线程数量*/ private...子线程正在执行:Thread-5 子线程正在执行:Thread-6 子线程正在执行:Thread-7 子线程正在执行:Thread-8 子线程正在执行:Thread-9 主线程正在执行后:main 或者用...,当前线程为:Thread-9 子线程正在执行任务,当前线程为:Thread-8 主线程正在执行后:main 附: 开启一个线程的其他写法: /**jdk7匿名内部类的写法*/ public

5.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    主线程都结束了,为何进程还在执行

    本人在做APP性能测试的过程中,曾经遇到过一个比较尴尬的问题,主线程已经结束,但是程序依然在执行,但没有找到在执行什么,一时非常苦恼。先分享一下自己的代码,再说我找到的原因。...Common.getInstance().outputTimeDiffer(start, end, "第" + i + "次"); } output("结束...; } 就是新启了几个线程,我猜测应该是这些线程没有很好的结束掉,导致后面出现很多问题。经过检查发现在启动APP的线程里面。...这个线程做的事情就是每分钟启动一次APP,并检查一下WiFi状态,使WiFi保持开/关,十分钟反转一下WiFi的状态。主线程结束后,这些进程还在sleep()休眠状态,所以才会没找到执行的代码。...然后在用java多线程里面的join方法在每个线程加入到主线程,这样就可以避免主线程结束而其他线程还在运行的尴尬了。

    1.4K30

    瞬间高并发,goroutine执行结束后的资源占用问题

    程序中goroutine的数量为:1 for循环结束后!...循环结束并等待5s后,协程的数量已经降了下来。 但即便goroutine已经执行结束后,GC的耗时明显增加,CPU和内存使用更是大幅上涨。...简而言之,协程执行结束后,协程数量会恢复正常,内存却恢复不了 定位 先抓一下heap的profile,看一下heap in-use 这几百M都用在了哪里。...当一个新的goroutine被添加到队列中时,处理器会检查是否已经有一个可用的OS线程,如果有,则将goroutine分配给该线程执行。如果没有可用的线程,则处理器会等待,直到有一个可用的线程。...程序中goroutine的数量为:1,allg大小为 6 for循环结束后!

    1.6K20

    java CountDownLatch用法 主线程等待子线程执行完后再执行

    这里记录一下下面这种情况:主线程需要等待多个子线程执行完后再执行。...子线程正在执行:Thread-5 子线程正在执行:Thread-6 子线程正在执行:Thread-7 子线程正在执行:Thread-8 主线程正在执行后:main 子线程正在执行:Thread-9 可以看到...* 测试点:主线程等待子线程全部执行完后再执行 */ public class ThreadTest { /**初始化CountDownLatch,值为线程数量*/ private...子线程正在执行:Thread-5 子线程正在执行:Thread-6 子线程正在执行:Thread-7 子线程正在执行:Thread-8 子线程正在执行:Thread-9 主线程正在执行后:main 或者用...,当前线程为:Thread-9 子线程正在执行任务,当前线程为:Thread-8 主线程正在执行后:main 附: 开启一个线程的其他写法: /**jdk7匿名内部类的写法*/ public

    1.5K10

    Python 线程管理【创建和结束线程】

    target=count_numbers)​# 启动线程thread.start()​# 主线程等待一段时间后修改标志位,结束线程time.sleep(5)is_running = False​print...在主线程中,我们等待了 5 秒后将 is_running 设置为 False,从而让线程自行退出。安全结束线程除了设置标志位的方式外,有时候我们可能需要更加安全和可靠地结束线程。...定时器可以在指定的时间后触发一个事件,我们可以利用这个特性来控制线程的执行时间。...在这个例子中,我们创建了一个定时器 timer,在 3 秒后触发 set_thread_finished 函数,该函数设置了线程的结束标志。线程在执行时会检查结束标志,如果标志被设置,则提前退出。...这样就实现了在指定时间后结束线程的功能。使用 threading.Event 实现线程等待除了定时器,我们还可以使用 threading.Event 来实现线程的等待和超时退出。

    96210

    如何获取Hive正在执行或者已结束的的MapReduce作业的SQL语句

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 当我们提交Hive SQL语句到YARN...后,有时如果我们想监控某个SQL的执行情况,需要查看具体SQL语句,如果这个SQL语句比较长,无论是通过YARN的8088界面还是YARN的命令都无法看全这个SQL语句。...语句,如下: [xxa06ijg1r.jpeg] 本文主要介绍三种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件...测试环境 1.操作系统RedHat7.3 2.CM和CDH版本为5.13.1 3.集群已启用Kerberos 2.通过YARN执行作业的xml配置文件获取 ---- 1.使用fayson用户登录hue执行...4.如果作业执行完成将接口改为JobHistory的API接口执行 curl -H "Accept: application/json" -X \ GET http://ip-172-31-16-68

    7.5K50

    循环执行语句

    一、while循环 1.while while(表达式) 语句;//如果循环体想包含更多的语句,可以加上大括号{} 2.while语句的执行流程 首先执行判断表达式,表达式为0,循环直接结束;表达式不为...0,则执行循环语句,语句执行完后再继续判断,是否进行下一次判断。...;//如果循环体包含更多的语句,可以加上大括号{} 表达式1用于循环变量的初始化 表达式2用于循环结束条件的判断 表达式3用于循环变量的调整  2.for循环的执行流程 整个循环过程中,表达式1初始化部分只被执行一次...,执行循环语句,然后再执行while后的判断表达式,表达式为真,就会进行下一次,表达式为假,则不再继续执行。...2.do while循环的执行流程 do while语句中循环体至少执行一次。

    47110

    窗口结束不断循环的线程

    当程序有循环线程时,窗口关闭时(通过窗口右上角X按钮),重新启动程序失败,提示是否执行上一次结果,每执行上一次结果,就积累一个线程在编译器,因为程序没有完全关闭。...系统主窗口,实质上是Main函数中开始消息循环的窗口,这个消息循环结束后,Main函数就基本上完成了历史使命,整个应用程序自然就结束了。...但是如果你在程序中加入了某些耗时甚至是死循环的线程,那么即使是消息循环终止,程序也依然不会结束。 比较温和比较合适的做法是结束消息循环之前,终止所有自己新建的线程。...(无论在主线程和其它线程,只要执行了这句,都可以把程序结束干净) ? 把它放到窗口closed事件里。...主消息泵结束后依然存在的任何窗口都需要手动关闭。在应用程序退出之前通过调用 Form.Close 或 Form.Dispose 来关闭窗口是清除窗口的良好做法,但这需要您有意识地去做。

    2.6K41

    【详解】if语句执行完else语句真的不会再执行吗?

    if语句执行完else语句真的不会再执行吗?在编程中,​​if-else​​ 语句是一种常用的条件控制结构。它允许程序根据不同的条件执行不同的代码块。...然而,对于初学者来说,一个常见的疑问是:当 ​​if​​ 语句的条件不满足时,执行了 ​​else​​ 语句后,是否还会再次执行 ​​if​​ 语句中的代码?本文将详细探讨这个问题,并通过示例来说明。...重要结论一旦 ​​if-else​​ 语句的条件被评估并选择了相应的代码块执行后,就不会再回到 ​​if​​ 块重新执行。...当条件为真时,执行 ​​if​​​ 块中的代码;当条件为假时,执行 ​​else​​ 块中的代码。重要的是,一旦其中一个块被执行后,程序会跳过另一个块,继续执行后续代码。...重要的是,一旦 ​​if​​ 或 ​​else​​ 块中的代码被执行后,程序不会返回去执行另一个块中的代码。

    51010

    SQL|语句执行逻辑

    SQL语言常见的比如,Mysql,HiveQL,Oracle等,虽然语法上存在一些差异,但它们在解释查询脚本上,尤其是在解析语句执行顺序上具有共性。...如果将脚本语言分解为一系列的语句,那么这些语句的先后执行顺序是怎样的呢? 这篇文章,主要总结SQL语句的执行顺序。...02 Select语句执行顺序 select查询语句的执行顺序,可以看出首先执行FROM子句,最后执行ORDER BY 执行顺序: (1) FROM (2) ON (3) JOIN (4) WHERE...FROM:对FROM子句中的前两个表执行笛卡尔积(交叉联接),生成虚拟表VT1,选择相对小的表做基础表。 ON:对VT1应用ON筛选器,只有那些使为真才被插入到VT2。...为了得到我们预期的结果我们就需要在on子句指定学生和成绩表的关系(学生.姓名=成绩.姓名),那么我们是否发现在执行第二步的时候,对于没有参加考试的学生记录就不会出现在vt2中,因为他们被on的逻辑表达式过滤掉了

    4.2K80

    select语句执行流程

    都依赖于此时读到的权限 注意这里的权限的修改一定要使用grant语句,不要手动改表,因为grant语句可以刷新内存,权限会立即更新,但是如果手动改表,权限不会刷新内存,内存里面的权限依旧是旧的。...连接在建立后,如果客户端太长时间没有活动,连接器会自动将它断开,该时间由wait_timeout和interactive_timeout参数控制,默认都是8小时。...定时断开长连接:使用一段时间或者程序判断执行一个占用内存的大查询后断开连接,之后再重连 mysql_reset_connection:在每次执行较大的操作后,执行mysql_reset_connection...mysql_reset_connection是为各个编程语言提供的API,不是SQL语句。 查询缓存 MySQL获得查询请求后,会先查询缓存,如果缓存中有直接返回,否则往下执行。...分析器 MySQL Server在拿到SQL语句以后,需要知道这条语句干什么。

    1.8K30

    MySQL 执行语句分析

    先分析下查询语句,语句如下: select * from tb_student A where A.age = '18' and A.name = '张三'; 结合上面的说明,我们分析下这个语句的执行流程...然后判断这个 sql 语句是否有语法错误,比如关键词是否正确等等,如果检查没问题就执行下一步。 接下来就是优化器进行确定执行方案,上面的 sql 语句,可以有两种执行方案: a....先找出学生中年龄 18 岁的学生,然后再查询姓名为“张三”的学生 优化器会根据自己的优化算法选择执行效率最好的一个方案(优化器认为,有时候不一定是最好)。那么确认了执行计划后,就准备开始执行了。...先写 redo log 直接提交,然后写 binlog,假设写完 redo log 后,机器挂了,binlog 日志没有被写入,那么机器重启后,这台机器会通过 redo log 恢复数据,但是这个时候...原文链接:一条SQL语句在MySQL中如何执行的

    3.5K10

    UNIX(多线程):07---线程启动、结束,创建线程多法、join,detach

    线程启动、结束,创建线程多法、join,detach 范例演示线程运行的开始和结束 程序运行起来,生成一个进程,该进程所属的主线程开始自动运行。...主线程从main函数开始执行,那么我们自己创建的线程, 也需要从一个函数开始运行(初始函数),一旦这个函数运行完毕,就代表着我们这个线程运行结束(类似main函数)。...注释掉 join() 语句,观察现象: 输出 如果主线程执行完毕了,但子线程没执行完毕,这种程序是不合格的,程序是不稳定的。 一个书写良好的程序,应该是主线程等待子线程执行完毕后,自己才能最终退出。...这个子线程就相当于被c++运行时库接管,当这个子线程执行完成后,由运行时库负责清理该线程相关的资源(守护线程)。 detach() 使线程myprint失去我们的控制。...(对象不在了) 这个对象实际上是被复制(值拷贝方式)到线程中去,执行完主线程后,ae会被销毁,但是所复制的AE对象依旧存在。 所以,只要这个AE类对象里没有引用,没有指针,那么就不会产生问题;。

    1.9K20
    领券