首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache Pig UDF会被调用为空的元组吗?

Apache Pig UDF会被调用为空的元组吗?
EN

Stack Overflow用户
提问于 2015-07-03 05:48:38
回答 2查看 303关注 0票数 2

https://wiki.apache.org/pig/UDFManual

示例UDF对exec方法中的输入元组进行了null-check。各种内置方法有时有效,有时无效。

是否确实存在Pig脚本会导致使用空输入元组调用UDF的情况?当然,空的输入元组是正常的,也是预期的,或者是一个空值的元组,但我从来没有将元组本身设置为空。

EN

回答 2

Stack Overflow用户

发布于 2015-07-04 18:47:19

因为先前的UDF返回null,所以元组可能为null。想想日志分析系统,在那里你1.解析日志,2.用外部数据丰富它。

代码语言:javascript
复制
LOG --(PARSER)--> PARSED_LOG --(ENRICHENER)--> ENRICHED_LOG

如果某个日志LOG格式错误,无法解析,则自定义项PARSED_LOG可能会返回null。因此,如果直接使用,ENRICHENER必须测试输入。

您也可以在之前对这些空值执行FILTER操作,特别是在多次使用元组或STORED的情况下。

票数 0
EN

Stack Overflow用户

发布于 2016-06-29 04:14:39

在使用Pig一段时间后,我最好的理解是,从不传递空的空值,总是一个非空的元组(其本身可能包含空值)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31195212

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档