我在谷歌云上配置了Ray,但是当我从本地机器启动集群时,集群正确地启动了主节点和工作节点的数量,具体取决于initial_workers的值。Automatic Cluster Setup
我将initial_workers和max_workers更改为5,但只启动了3个节点,并且在特定时间之后,这些节点已被删除(idle_timeout_minutes=30)。
是否可以在不删除的情况下使用特定节点初始化集群,并为每个虚拟机使用最大核心数(对于head_start_ray_commands和worker_start_ray_commands,我可以只添加--num-cpu=<>吗?)
当我在一台机器上使用多处理池处理大型数据集时,执行时间约为20秒,而对于ray.util.multiprocessing集群,执行时间约为60-70秒。我希望集群能有一个好的结果?!
发布于 2020-07-24 23:26:18
抱歉,我不确定您遇到的确切问题是什么。您可以只启动一个固定大小的集群,而不是设置最大和最小节点吗?
https://stackoverflow.com/questions/63076324
复制相似问题