Cdh到hdp配置单元

Question

我已经在cloudera中编写了hive udf，我们正在将其迁移到hortonworks。当我尝试在hortonworks集群中应用相同的udf时，它抛出了下面的错误。

​

Answer 1

对正确的版本使用正确的依赖项。与管理团队坐下来讨论版本，并尝试运行它。limit总是扫描几条记录，并将操作应用于该数据，而不是整个数据集，因此，当我应用带有Limit的udf时，它对我有效。即使是你使用的任何版本/甚至是cdh版本，如果你使用了limit，它也可以工作。但当你将它应用于整个数据集时，问题就来了。因为我的样本数据大约是500万条记录，所以它必须运行map reduce作业。