当使用BlockManager计算连接组件时，火花被GraphX卡住了

Question

我正在使用星火GraphX在AWS EC2上计算连接组件。我相信计算是成功的，因为我看到了最终结果的类型信息。然而，看起来斯派克正在做一些清理工作。BlockManager移除了一堆积木，然后卡在

15/07/04 21:53:06 INFO storage.BlockManager:删除块rdd_334_4 15/07/04 21:53:06 INFO storage.MemoryStore:大小为25986936的块rdd_334_4从内存中掉落(释放15648106262)

没有错误消息，一个小时都没有更新。如果按Enter键，就会断开与集群的连接。有没有人碰巧知道这是怎么回事？

我使用了8个r3.4x大型实例。我有七百万边和两亿个顶点。

谢谢!

Answer 1

块管理器在各种情况下确实会进行清理，如果您得到了最终结果，那么可能不会有更多的消息或更新。试着查看web，看看是否有任何作业在运行&最终作业的状态如何。如果您的问题是无法看到最终结果，因为日志消息将其隐藏在shell中，请尝试将其保存到局部变量中。

Answer 2

这就是这个问题是如何得到解决的。因为清理日志消息，我没有看到"scala>"，所以我认为它还在做一些事情。如果我按下"Enter“键，就会断开连接。最后，我尝试输入变量名，这实际上是有效的。