首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我们能把Hadoop和Python集成起来吗?

问我们能把Hadoop和Python集成起来吗?
EN

Stack Overflow用户
提问于 2016-06-21 06:25:10
回答 2查看 1.4K关注 0票数 2

我有一个项目要求。我使用python脚本来分析数据。最初,我使用txt文件作为那个python脚本的输入。但是随着数据的增长,我不得不将存储平台切换到Hadoop。如何将HDFS数据作为输入提供给python脚本?有办法吗?提前谢谢。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-06-21 09:34:05

Hadoop流API:

代码语言:javascript
复制
$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc

你需要知道的就是这里:http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

票数 3
EN

Stack Overflow用户

发布于 2016-06-21 16:56:36

除了其他方法之外,还可以使用类似JDBC的编译、绑定、运行模型在Python脚本中嵌入Pig拉丁语句和Pig命令。对于Python,确保Jython包含在类路径中。有关更多详细信息,请参阅apache文档:https://pig.apache.org/docs/r0.9.1/cont.html#embed-python

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37936958

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档