Knox进程消耗Dataproc主节点中的所有资源

Question

我尝试打开存储在GCS中的“我的笔记本”。我使用Jupyter创建了一个Dataproc集群，并连接了Jupyter web界面。

当我打开我的笔记本，我得到一个错误(错误504，没有更多信息)。

​

​

当我打开我的笔记本时，我检查主节点，我看到有'knox‘进程消耗我的cpu(%198)和内存(%100)资源。

​

​

我每周都会遇到3-4次这样的情况。

有没有人以前遇到过同样的问题？

Answer 1

我使用Jupyter组件创建了一个集群，然后打开Python笔记本并多次运行print('hello world')，从而重现了您的问题。然后，我进入主节点并持续监视Knox进程的内存使用情况。每运行一次cell，Knox进程的内存就增加约3M。

在/usr/lib/knox/bin/knox-env.sh中设置export KNOX_GATEWAY_MEM_OPTS="-Xms512m -Xmx1024m"然后再设置sudo systemctl restart knox可能会有所帮助，但这似乎不是问题的原因。