在MacOS上安装horovod

Question

通过pip3 install horovod安装horovod之后

我得到一个错误：

ImportError: Extension horovod.tensorflow has not been built: /usr/local/lib/python3.7/site-packages/horovod/tensorflow/mpi_lib.cpython-37m-darwin.so not found
If this is not expected, reinstall Horovod with HOROVOD_WITH_TENSORFLOW=1 to debug the build error.

也尝试过

pip3 uninstall horovod
HOROVOD_WITH_TENSORFLOW=1 pip3 install horovod

pip3 uninstall horovod
HOROVOD_WITHOUT_MPI=1 pip3 install horovod

但是得到相同的错误。

Answer 1

关于Pip的一个棘手的事情是，您需要指定--no-cache-dir，以防止它重用它的“缓存”版本的包(在您的例子中，使用不同的安装标志编译Horovod。所以试着这样做：

HOROVOD_WITHOUT_MPI=1 HOROVOD_WITH_TENSORFLOW=1 pip3 install --no-cache-dir horovod

具体到macOS，在安装带Gloo的Horovod (不带MPI)之前，您需要确保安装了libuv：

brew install libuv