使用通过ssh隧道分发的dask访问bokeh服务器

Question

问题

我正在设置一个用于运行图像分析的集群(从MPI移动到Dask和Dask.distributed)。我通过隧道连接到主节点，我不知道如何访问bokeh服务器。

步骤

1. 通过ssh隧道连接到我的服务器主节点： ssh -L 7000:localhost:7000 simone@server.se
2. 启动dask-scheduler --port 7001 --bokeh 7002
3. ssh到我想要使用的节点(也可以在端口7000上隧道)并启动dask-worker --memory-limit=200e9
4. 启动jupyter notebook --port=7000 --no-browser并打开chrome会话，并将浏览器指向localhost:7000
5. 启动指向调度程序地址的Client()
6. X11 forwarding坏了，我不能用我的笔记本电脑

当我查看来自dask-scheduler页面的输出时，我得到：

distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO -   Scheduler at: tcp://130.237.132.207:7001
distributed.scheduler - INFO -        http at:              0.0.0.0:9786
distributed.scheduler - INFO -       bokeh at:              0.0.0.0:7002
distributed.scheduler - INFO - Local Directory:    /tmp/scheduler-4we9jlcj
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Register tcp://192.168.0.3:43973
distributed.scheduler - INFO - Starting worker compute stream, 
tcp://192.168.0.3:43973
distributed.scheduler - INFO - Receive client connection: Client-6967349a-
872f-11e7-a595-0cc47a8ebf44

client似乎正确地连接到了工人：

Scheduler: tcp://130.237.132.207:7001
Dashboard: http://130.237.132.207:7002
Workers: 1
Cores: 56
Memory: 200.00 GB  

问题

1)将浏览器指向设置日程的port 7000而不是port 7001是否正确？FYI:如果我使用localhost:7001或调度程序和仪表板的任何IP地址，我就无法从浏览器加载任何内容。2)如何访问bokeh图来评估性能？

3)附加奖金:是否有一种方法可以使用dask-ssh和传递参数(如--memory-limit )启动多个工作人员

谢谢!

Answer 1

看起来您在端口7002上托管了bokeh仪表板。您还需要为该端口设置第二个ssh隧道。这可能如下所示：

ssh -L 7002:localhost:7002 simone@server.se
open http://localhost:7002

将关键字传递到dask-ssh听起来是个好主意。我推荐开始发行，如果您有时间的话，可能需要一个拉请求:)