我正在尝试在AWS Elastic MapReduce作业中使用Python映射器脚本中的外部库。
但是,我的脚本似乎无法在缓存中找到模块。我将文件归档到一个名为helper_classes.tar的压缩包中,并将该压缩包上传到亚马逊S3存储桶中。在控制台上创建MapReduce作业时,我将参数指定为:
cacheArchive s3://folder1/folder2/helper_classes.tar#helper_classes在我的Python映射器脚本的开头,我包含了以下代码来导入库:
import sys
sys.path.append('./helper_classes')
import geoip.database当我运行MapReduce作业时,它失败并返回ImportError: No module named geoip.database. (geoip是helper_classes.tar顶层的一个文件夹,而数据库是我试图导入的模块)。
你知道我会做错什么吗?
发布于 2015-05-08 08:28:04
对于这个主题来说,这可能太晚了。
原因是geoip.database模块并没有安装在所有Hadoop节点上。您可以尝试不在map/reduce代码中使用不常见的导入,也可以尝试在所有Hadoop节点上安装所需的模块。
https://stackoverflow.com/questions/24668888
复制相似问题