如何与一群使用齐柏林飞艇的人合作？

Question

我试图在Hadoop集群上使用齐柏林飞艇：

1. 1边缘节点
2. 1个名称节点
3. 1个次级节点
4. 16个数据节点。

节点规格: CPU: Intel(R) Xeon(R) CPU E5345 @ 2.33GHz，8核内存: 32 GB DDR2

当20多人同时使用这个工具时，我有一些问题。这主要是当我使用火花放电- 1.6或2.0。即使我设置了zeppelin.execution.memory = 512 mb和spark.executor memory = 512 mb，仍然是相同的。我尝试了几个解释器选项(对于pyspark)，比如在作用域/隔离和其他用户中的每个用户，并且仍然一样。这是一个更好的全球选择，但仍然在一段时间后，我不能做任何事情。我在看边缘节点，我看到记忆在快速增长。我只想使用边缘节点作为访问点。

Answer 1

如果您的部署模式是纱线客户端，那么您的驱动程序将始终是接入点服务器(在您的情况下是边缘节点)。

每个笔记本(per note模式)或每个用户(per user模式)都实例化一个火花上下文，在驱动程序和执行器上分配内存。减少spark.executor.memory将减轻集群，而不是驱动程序。试着减少spark.driver.memory。

火花解释器可以实例化globally、per note或per user，我不认为共享同一个解释器(globally)在您的情况下是一个解决方案，因为您一次只能运行一个作业。用户最终会等待其他人的单元格进行编译，然后才能自己编译。