Geos、Shapely和Hadoop流

Question

我试图运行Hadoop流作业来处理地理空间数据。为此，我使用了需要修长的利布戈斯函数。

但是，作业失败，因为集群上没有安装libgeos。

有没有一种方法可以将libgeos传送到集群并从目录(可能是通过.so或-files)读取-archives文件？

运行命令的示例

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D    stream.num.map.output.key.fields=2 -D mapred.text.key.partitioner.options=-k1,1 -archives hdfs://namenode:port/user/anaconda.zip#anaconda -files /some/other/stuff -input /path/to/input -output /user/geo_stuff -file /home/mr_files/mapper.py -mapper "mapper.py"

mapper.py一开始就像..。

#!./anaconda/anaconda/bin/python
import shapely
from cartopy.io import shapereader
from shapely.geometry import Point
...more stuff

这会产生以下错误

from shapely.geos import lgeos
File "./anaconda/anaconda/lib/python2.7/site-packages/shapely/geos.py", line 58, in <module>
_lgeos = load_dll('geos_c', fallbacks=['libgeos_c.so.1', 'libgeos_c.so'])

File "./anaconda/anaconda/lib/python2.7/site-packages/shapely/geos.py", line 54, in load_dll
libname, fallbacks or []))

OSError: Could not find library geos_c or load any of its variants ['libgeos_c.so.1', 'libgeos_c.so']

Answer 1

如果要将文件从主节点复制到Hadoop集群上的所有核心节点，可以通过在主节点上运行此操作(Key.pem是用于ssh到主节点的秘密密钥，在运行此操作之前必须将其复制到主节点上)：

#!/bin/bash
nodes=(`hadoop dfsadmin -report | grep Hostname | sed 's/Hostname: //'`)
for workerip in nodes
do
    scp -i Key.pem -o UserKnownHostsFile=/dev/null \
        -o StrictHostKeyChecking=no \
           /usr/local/lib/libgeos_c* $workerip:/usr/local/lib/
done

Answer 2

如果在一个非标准位置上有一个用于GEOS的environment的libgeos_c.so共享库，您可以设置一个环境变量来使用该文件：

export GEOS_LIBRARY_PATH=/path/to/libgeos_c.so.1

但是，您需要确保满足依赖关系。例如见：

ldd /path/to/libgeos_c.so.1

请参阅libgeos.py的源代码，了解如何使用环境变量查找GEOS共享库。