apache hive和Aster数据在分析函数方面有什么不同？

Question

我偶然发现一些东西表明你可以在Hive中编写解析函数。

例如:对于wordcount示例，我们也可以在hive中编写。不同之处在于，在Aster data中，它已经是内置的，而在hive中，我们必须编写它。

会有什么不同？为什么要选择它呢？

Answer 1

在实验室研究的基础上有一项很好的研究，它比较了在Teradata Aster发现平台和Hadoop/Hive中开发和执行分析函数的时间。这些系统并排运行，以显示适合每个系统的工作负载。有一个很好的例子可以说明分析师的“生命中的一天”和所需的时间/精力。(披露:我为Teradata工作，该公司在2年前收购了Aster Data ) http://www.asterdata.com/resources/assets/ESG-Lab-Validation-Teradata-Aster-MapReduce-Platform.pdf

Answer 2

从理论上讲，是的，Hive应该能够像功能Java代码和map-reduce框架一样做所有的事情。我不是Hadoop/Hive的用户，但我的理解是，Hive是Hadoop之上的一层，Hive所做的一切(包括用Java编写的分析扩展)都将转换为Hadoop作业。你可能想问一个关于如何做到这一点/需要什么的Hive-directed问题。

相反，Aster SQL/MR是Aster数据库的原生数据库。本机是指Java在每个Aster节点中作为Aster SQL/MR框架的一部分运行，而Aster SQL/MR框架又是Aster数据库引擎不可或缺的一部分。在Aster中，用户在使用其SQL/MR功能(包括基于Java的)时，始终不会离开SQL和数据模型的前提。同时，SQL/MR对于适用于任意模型的表定义是多态的(所有这些都在Aster SQL中)。也许你想研究一下这在Hive中是如何工作的。

要说明的另一点是，Aster提供了丰富的高级分析函数集，因此可能不需要编写自定义的Java SQL/MR。因此，可以使用nGram函数和聚合SQL来执行单词统计示例。