json字段上的ElephantBird UDF: ORDER生成语法错误

Question

我在Hadoop 1.2.1上使用Pig 0.13.0。为了处理JSON文件，我还使用了ElephantBird UDF版本的4.5。直到现在，我在UDF方面还没有什么大问题，但是当我尝试用json字段订购别名时，pig编译器并不高兴，我得到了以下错误：

Failed to parse: <file find.pig, line 13, column 35>  Syntax error, unexpected symbol at or near 'long'

脚本如下所示(查看ORDER语句)：

...
records = LOAD '$INPUT' USING com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad') AS (json:map[]);
sorted_records = ORDER records BY (long)json#'imp' desc;
...

我试着移除(长)，但没有结果。

Answer 1

不能按JsonLoader返回的映射中的值排序记录，也不能在order by中进行类型转换。您可以做的是将json#'imp'的值投影到记录中的一个字段中，然后通过以下方式进行排序：

records = FOREACH records GENERATE json, (long)json#'imp' AS imp:long;
sortedrecords = ORDER records BY imp desc;