如何通过流式传输来加速HDFS中的数据探索？

Question

我有一些字段要从hdfs中提取出来。

目前我正在做hadoop fs -text /path/to/20120903/*-* 2>/dev/null | awk -F '\t' '{ print $16 }' | sort | uniq > users-0903。

我如何才能加快速度(需要在0904,0905...这需要一些时间)？

我尝试过一些Hadoop流媒体，但它似乎不喜欢我给它的大多数脚本，所以我放弃了。您将如何使用流式处理来尝试此任务？

Answer 1

使用Hadoop Streaming实现此目的的一种快捷方法是：

hadoop jar hadoop-streaming.jar -input /path/to/2012093 -output /path/to/output-0903 -mapper "awk -F '\t' '{print \$16}'" -reducer 'uniq'

或者更好的写法：

hadoop jar hadoop-streaming.jar \
  -input /path/to/2012093 \
  -output /path/to/output-0903 \
  -mapper "awk -F '\t' '{print \$16}'"\
  -reducer 'uniq'

映射器将在制表符之间发出第16个单词作为没有值的键。然后，它将在混洗/排序过程中进行排序，并且对uniq的调用将获得每个键/值对，它们只是键的重复。这些将由uniq减少到一个副本。