文章/答案/技术大牛

发布

社区首页 >问答首页 >如何设置pyarrow的libhdfs.so路径？

问如何设置pyarrow的libhdfs.so路径？
EN

Stack Overflow用户

提问于 2020-07-30 20:17:27

回答 1查看 1.4K关注 0票数 2

我正在尝试使用pyarrow，但我一直收到以下错误。

ImportError: Can not find the shared library: libhdfs3.so

所以我读了一些堆栈溢出，它告诉我需要为ARROW_LIBHDFS_DIR设置环境变量。

本地路径为/usr/ libhdfs.so /hadoop/native/

它试图在bashrc中设置它，但不起作用

conda安装似乎不能工作，即

conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3

如果我收到这封信，那将是一个很大的帮助。提前谢谢。

pyarrow

libhdfs

python-hdfs

回答 1

Stack Overflow用户

发布于 2020-07-31 05:57:45

确保libhdfs.so既在$HADOOP_HOME/lib/native中也在$ARROW_LIBHDFS_DIR中

使用此命令检查是否在bash环境ls $ARROW_LIBHDFS_DIR中设置了变量

如果没有，请使用locate -l 1 libhdfs.so查找该文件

使用ARROW_LIBHDFS_DIR=<directory location to libhdfs.so>将您找到的目录路径分配给ARROW_LIBHDFS_DIR变量

此处在SO - https://stackoverflow.com/a/62749351/6263217中引用

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63173003

复制

相似问题

问如何设置pyarrow的libhdfs.so路径？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何设置pyarrow的libhdfs.so路径？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何设置pyarrow的libhdfs.so路径？
EN