问在hadoop mapreduce作业中使用多个本地文件夹作为源
EN

Stack Overflow用户

提问于 2012-05-16 14:30:04

回答 1查看 167关注 0票数 0

我在多个本地文件夹中有数据，即/usr/bigboss/data1、/usr/bigboss/data2和更多文件夹。我想使用所有这些文件夹作为我的MapReduce命令的输入源，并将结果存储在HDFS中。我找不到一个有效的命令来使用Hadoop Grep示例来执行此操作。

回答已采纳

发布于 2012-05-16 18:25:57

数据需要驻留在HDFS中，以便您使用grep示例对其进行处理。您可以使用-put FsShell命令将文件夹上传到HDFS：

hadoop fs -mkdir bigboss
hadoop fs -put /usr/bigboss/data* bigboss

它将在当前用户的HDFS目录中创建一个文件夹，并将每个数据目录上传到该文件夹

现在您应该能够对数据运行grep示例了

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/10613133

复制

相似问题

问在hadoop mapreduce作业中使用多个本地文件夹作为源EN