回答情况：
提问时间：
问题标签：
通过pip3 install horovod安装horovod之后 我得到一个错误： ImportError: Extension horovod.tensorflow has not been built: /usr/local/lib/python3.7/site-packages/horovod/tensorflow/mpi_lib.cpython-37m-darwin.so not found
Ifthis is not expecte
浏览 59提问于2020-11-11得票数 0
我正在尝试安装Tensorflow和Horovod然后我运行了一个示例代码import tensorflow as tf当我运行这段代码时，我得到以下错误
ImportError: Extension horovod.tensorflowIf this is not expected, reinst
浏览 4提问于2018-10-10得票数 0
我正在尝试理解Tensorflow镜像策略和Horovod分发策略之间的基本区别。从文档和源代码调查中，我发现Horovod (https://github.com/horovod/horovod)使用消息传递协议在多个节点之间进行通信。与horovod相比，镜像策略的性能如何？
浏览 16修改于2019-03-06得票数 6
一直收到这个错误，我已经多次重新安装了horovod和tensorflow。请帮帮我！Traceback (most recent call last): import horovod.tensorflow40, in <module>
check_extension('horovod.tensorflow', 'HOROVOD_WITH_TENSORFLO
浏览 64修改于2019-05-25得票数 3
正在将和MPI组合成一个用于分布式深度学习的包装器，例如TensorFlow。我以前没有听说过NCCL，我正在研究它的功能。以下是NVIDIA网站上关于NCCL的说明：
所以我想问为什么在霍洛沃德需要MPI？据我所知，MPI还被用来通过also范式有效地交换分布式节点之间的梯度。但据我所知，NCCL
浏览 2修改于2020-09-15得票数 11
这也为训练集和验证集提供了单独的Tensorboard日志目录-我希望Horovod解决方案也是如此。
浏览 18修改于2017-12-12得票数 2
回答已采纳
现在，我正在使用Horovod来运行我的pytorch模型的分布式训练。我想开始为--multirun特性使用hydra配置，并使用SLURM将所有作业排入队列。我知道有Submitid插件。但我不确定，整个管道如何与Horovod合作。假设我想使用hydra -multirun来运行几个多gpu实验，我想使用slurm来排队运行，因为我的资源是有限的，并且大部分时间都是按顺序运行的，我想使用Horovod来同步我的网络的梯度。
浏览 50修改于2020-09-28得票数 0
回答已采纳
在安装了电筒的conda环境中运行pip install horovod会导致
error: None of TensorFlow, PyTorch, or MXNet plugins were built
浏览 2提问于2019-03-22得票数 1
回答已采纳
Horovod可以很容易地计算tensorflow的梯度。我们可以使用horovod来计算普通值吗?例如：import numpy as nphvd_r=int(hvd.rank())
#each process
浏览 167修改于2017-11-30得票数 2
回答已采纳
我想在运行Slurm的集群上扩展培训，将其作为工作负载管理器和用于分布式培训的horovod ()。callbacks=[tbCallback, checkpoint])}
我想知道应该在Slurm和Horovod
浏览 0提问于2018-11-08得票数 0
回答已采纳
.
HorovodRunner has the ability to record the timeline of its activity with Horovod Timeline.Toof the
浏览 2修改于2020-07-11得票数 2
localhost:1,192.168.0.20:2 -p 12345 python keras_mnist_advanced.py
启动horovodrun任务功能失败: horovod.run.common.util.network.NoValidAddressesFound
浏览 1修改于2019-03-30得票数 1
我试图使用Horovod在不同的服务器上分发训练GPU。遵循建议。
我想要实现局部梯度聚合。
浏览 9修改于2021-07-02得票数 0
回答已采纳
使用Horovod，您基本上可以运行N个独立的实例(因此它是图之间复制的一种形式)，它们通过特殊的Horovod操作(基本上是广播+减少)进行通信。使用Horovod广播将效率低下，因为您会将所有数据复制到所有实例。我想TF MultiDeviceIterator提供了一些类似的功能(或者基本上就是这样)，但我不确定它是否与Horovod一起工作，以及您将如何设置它？
或者也许您可以通过TF员工( )来进行分发？(这个问题实际上比Horovod更通用，尽管Horovod可能是一个很好的例
浏览 13修改于2020-05-31得票数 8
tensorholo) C:\Users\alaba\Desktop\MIT PROJECT\tensor_holography-main>pip install nvidia-tensorflow[horovod] Downloading nvidia-tensorflow-0.0.1.dev5.tar.gz`` (7.9 kB)
浏览 17修改于2022-06-26得票数 1
代码是用TensorFlow编写的，类似于我认为CPU实例应该足够的以下代码：
Horovod与TensorFlow能在亚马逊SageMaker中使用非GPU实例吗？
浏览 5提问于2022-09-11得票数 0
回答已采纳
我在0.18和0.19.2之间的所有Horovod版本中都遇到过以下问题。但同时，由于的原因，我们无法仅将其加载到秩0，从而导致批处理规范挂起在horovod中。在使用BatchNorm tf.keras层时，有没有人能够成功地仅在等级0上调用hvd.load_model？
浏览 10提问于2020-05-20得票数 2
(a)有没有办法让Horovod在分布式学习中包含驱动节点上的GPU？
(b)或者:是否有一种方法可以在Databricks中使用GPU工作者但非GPU驱动程序创建集群？
浏览 2提问于2020-01-10得票数 1
-3.7/horovod/runner copying horovod/runner/gloo_run.py -> build/lib.linux-x86_64-3.7
浏览 32修改于2021-10-12得票数 1
使用AzureML服务，我如何使用Horovod在多个节点上为keras深度学习的不同时期转储正确的损失曲线或精度曲线？使用Horovod和AzureML的Keras深度学习的Loss vs epochs plt似乎有问题。使用Keras/Horovod (2个GPU)和AMLS SDK训练CNN会生成奇怪的图形
浏览 21修改于2019-08-10得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号