谷歌的Dremel是什么？它与Mapreduce有什么不同？

Question

谷歌的Dremel是described here。Dremel和Mapreduce有什么不同？

Answer 1

查看此article。Dremel是hive的未来应该(也将会)是什么。

MapReduce及其解决方案的主要问题是，它们在运行作业和获得答案之间存在固有的延迟。Dremel使用了一种全新的方法(谷歌在2010年的那篇论文中提出了这一点)。

...uses是一个新的基于聚合器树的查询执行引擎...

...to几乎可以运行实时、交互式和即席查询，而这两种查询MapReduce都不能。小猪和蜂巢不是实时

你应该密切关注projects的发展。对我来说也是很新的。因此，欢迎任何其他专家的意见！

编辑： Dremel是HIVE (而不是我之前提到的MapReduce )的未来。Hive现在提供了一个类似SQL的接口来运行MapReduce作业。Hive具有非常高的延迟，因此在ad-hoc数据分析中并不实用。Dremel通过使用与MapReduce不同的技术为数据提供了一个非常快速的类似SQL的接口。

Answer 2

Dremel和MapReduce不是直接可比较的，而是互补的技术。

MapReduce不是专门为分析数据而设计的-相反，它是一个软件框架，允许节点集合处理大型数据集的分布式计算问题。

Dremel是一个数据分析工具，旨在快速对大量的结构化数据集(如日志或事件文件)运行查询。它支持类似SQL的语法，但除了表追加之外，它是只读的。它不支持update或create函数，也不支持表索引。数据以“列式”格式组织，这有助于非常快的查询速度。谷歌的BigQuery产品是可通过RESTful API访问的Dremel的实现。

Hadoop (MapReduce的一个开源实现)与“蜂巢”数据仓库软件相结合，还允许使用SQL风格的语法对海量数据集进行数据分析。Hive本质上将查询转换为MapReduce函数。与使用ColumIO格式相比，配置单元试图通过使用诸如表索引之类的技术来快速进行查询。

Answer 3

MapReduce是一种抽象算法，用于如何拆分、分发和组合结果。Dremel似乎是用于查询和分析数据集的特定工具。