apache pig中的TOP函数

Question

在数据集中(约200k记录)，有一个名为标签的列(与问题关联的标签的逗号分隔列表。标签的例子有"html“、"error”等。

php，错误，gd，图像处理

php，错误，gd，图像处理

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

lisp、方案、主观、clojure

cocoa-touch，objective-c，设计模式

cocoa-touch，objective-c，设计模式

cocoa-touch，objective-c，设计模式

核心动画

django，django-模型

django，django-模型

asp»net

scala，模式匹配，oop，面向对象设计，设计原则

scala，模式匹配，oop，面向对象设计，设计原则

scala，模式匹配，oop，面向对象设计，设计原则

。。。。。

如何在数据集中找到最常用的前10个标签？在猪或蜂巢中

Answer 1

解决方案：

1)令牌化数据https://pig.apache.org/docs/r0.14.0/func.html#tokenize

2)展平由记号赋予器https://pig.apache.org/docs/r0.14.0/basic.html#flatten创建的包

3)按术语分组，计算sg，如下所示：

counts = FOREACH (GROUP data BY term) GENERATE
    group AS term,
    COUNT(data) AS term_cnt;

4)然后再次按某个标识符对数据进行分组，并对数据进行最大https://pig.apache.org/docs/r0.14.0/func.html#max或排序，以获得前x个