齐柏林飞艇星火上下文在一段之后结束

Question

我在齐柏林飞艇上有一个笔记本，里面有多个段落，这些段落之前运行得很好；突然之间，集群重新启动后，它开始表现得很奇怪。

第一段运行良好，而随后运行的任何内容都表示Connection Refused。

​

​

在检查$ZEPPELIN_HOME/logs文件夹zeppelin-interpreter-spark-root-mn.log ( mn是机器名)中的日志时。

 INFO [2018-02-21 21:42:43,301] ({dispatcher-event-loop-15} Logging.scala[logInfo]:54) - Removed broadcast_12_piece0 on mn5:45284 in memory (size: 88.2 KB, free: 2004.5 MB)
 INFO [2018-02-21 21:42:43,401] ({Thread-3} Logging.scala[logInfo]:54) - Invoking stop() from shutdown hook
 INFO [2018-02-21 21:42:43,412] ({Thread-3} AbstractConnector.java[doStop]:310) - Stopped Spark@7de3e842{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
 INFO [2018-02-21 21:42:43,416] ({Thread-3} Logging.scala[logInfo]:54) - Stopped Spark web UI at http://10.28.37.82:4040
 INFO [2018-02-21 21:42:43,440] ({Yarn application state monitor} Logging.scala[logInfo]:54) - Interrupting monitor thread
 INFO [2018-02-21 21:42:43,442] ({Thread-3} Logging.scala[logInfo]:54) - Shutting down all executors
 INFO [2018-02-21 21:42:43,443] ({dispatcher-event-loop-4} Logging.scala[logInfo]:54) - Asking each executor to shut down
 INFO [2018-02-21 21:42:43,447] ({Thread-3} Logging.scala[logInfo]:54) - Stopping SchedulerExtensionServices
(serviceOption=None,
 services=List(),
 started=false)
 INFO [2018-02-21 21:42:43,450] ({Thread-3} Logging.scala[logInfo]:54) - Stopped
 INFO [2018-02-21 21:42:43,454] ({dispatcher-event-loop-9} Logging.scala[logInfo]:54) - MapOutputTrackerMasterEndpoint stopped!
 INFO [2018-02-21 21:42:43,466] ({Thread-3} Logging.scala[logInfo]:54) - MemoryStore cleared
 INFO [2018-02-21 21:42:43,466] ({Thread-3} Logging.scala[logInfo]:54) - BlockManager stopped
 INFO [2018-02-21 21:42:43,467] ({Thread-3} Logging.scala[logInfo]:54) - BlockManagerMaster stopped
 INFO [2018-02-21 21:42:43,471] ({dispatcher-event-loop-0} Logging.scala[logInfo]:54) - OutputCommitCoordinator stopped!
 INFO [2018-02-21 21:42:43,472] ({Thread-3} Logging.scala[logInfo]:54) - Successfully stopped SparkContext
 INFO [2018-02-21 21:42:43,473] ({Thread-3} Logging.scala[logInfo]:54) - Shutdown hook called

所以关闭钩子被叫来了。我试过查看其他帖子(比如this和this)，但这并没有帮助。日志也没有多大帮助。

我是否需要调整代码以添加额外的日志记录来解决这个问题？是否有人已经面对并解决了同样的问题？

Answer 1

结果是伐木不良的情况。我也查过纱线记录，但什么也找不到。原来第二段有一个RunTimeException，从任何日志中都不清楚，但是当我尝试使用同一个命令时，我意识到问题出在哪里，并修复了同样的问题。

在星火壳中运行scala命令，然后查看它抛出的异常。