我有一个项目要求。我使用python脚本来分析数据。最初,我使用txt文件作为那个python脚本的输入。但是随着数据的增长,我不得不将存储平台切换到Hadoop。如何将HDFS数据作为输入提供给python脚本?有办法吗?提前谢谢。
发布于 2016-06-21 09:34:05
Hadoop流API:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc你需要知道的就是这里:http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/
发布于 2016-06-21 16:56:36
除了其他方法之外,还可以使用类似JDBC的编译、绑定、运行模型在Python脚本中嵌入Pig拉丁语句和Pig命令。对于Python,确保Jython包含在类路径中。有关更多详细信息,请参阅apache文档:https://pig.apache.org/docs/r0.9.1/cont.html#embed-python
https://stackoverflow.com/questions/37936958
复制相似问题