无法在pyspark中导入pyarrow

Question

我正在尝试使用pyarrow in with pyspark。然而，当我尝试执行

import pyarrow

我收到以下错误

    In [1]: import pyarrow
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-1-f1048abcb32d> in <module>
----> 1 import pyarrow

~/opt/anaconda3/lib/python3.7/site-packages/pyarrow/__init__.py in <module>
     47 import pyarrow.compat as compat
     48
---> 49 from pyarrow.lib import cpu_count, set_cpu_count
     50 from pyarrow.lib import (null, bool_,
     51                          int8, int16, int32, int64,

ImportError: dlopen(/Users/user/opt/anaconda3/lib/python3.7/site-packages/pyarrow/lib.cpython-37m-darwin.so, 2): Library not loaded: @rpath/libboost_filesystem.dylib
  Referenced from: /Users/user/opt/anaconda3/lib/libarrow.15.1.0.dylib
  Reason: image not found

我曾尝试在conda环境中安装pyarrow，将其降级到python3.6，但没有成功。

有没有人有解决这个问题的建议？

Answer 1

看起来PyArrow没有正确安装。所以请尝试清理旧的软件包，然后使用下面的命令再次安装pyarrow，

   {{ conda install -c conda-forge pyarrow }}

Answer 2

公认的答案对我不起作用，因为我在使用MacOs，我一直在研究，this one对我有帮助。适用于那些在MacOS中有相同问题的用户。

brew update && brew upgrade
brew switch openssl 1.0.2s

为我工作Catalina 10.15.4