首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在弹性MapReduce中使用分布式缓存中的文件的问题

问在弹性MapReduce中使用分布式缓存中的文件的问题
EN

Stack Overflow用户
提问于 2014-07-10 13:09:27
回答 1查看 123关注 0票数 0

我正在尝试在AWS Elastic MapReduce作业中使用Python映射器脚本中的外部库。

但是,我的脚本似乎无法在缓存中找到模块。我将文件归档到一个名为helper_classes.tar的压缩包中,并将该压缩包上传到亚马逊S3存储桶中。在控制台上创建MapReduce作业时,我将参数指定为:

代码语言:javascript
复制
cacheArchive s3://folder1/folder2/helper_classes.tar#helper_classes

在我的Python映射器脚本的开头,我包含了以下代码来导入库:

代码语言:javascript
复制
import sys
sys.path.append('./helper_classes')
import geoip.database

当我运行MapReduce作业时,它失败并返回ImportError: No module named geoip.database. (geoip是helper_classes.tar顶层的一个文件夹,而数据库是我试图导入的模块)。

你知道我会做错什么吗?

EN

回答 1

Stack Overflow用户

发布于 2015-05-08 08:28:04

对于这个主题来说,这可能太晚了。

原因是geoip.database模块并没有安装在所有Hadoop节点上。您可以尝试不在map/reduce代码中使用不常见的导入,也可以尝试在所有Hadoop节点上安装所需的模块。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24668888

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档