首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >mapreduce能否在共享元组空间(例如:数据库)上高效工作?

问mapreduce能否在共享元组空间(例如:数据库)上高效工作?
EN

Stack Overflow用户
提问于 2010-03-09 16:37:53
回答 1查看 459关注 0票数 2

我之所以问这个问题,是因为我想知道在数据库或共享键值存储上运行mapreduce查询是否有效?

例如,要实现一个网络拖网工具,它对互联网进行索引,并计算不同网页上的所有术语,使用数据库作为后端可以有效地完成这一任务吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2010-03-18 02:13:42

好的。HBase和其他NoSql商店非常适合这项任务。

有关将HBase与MapReduce一起使用的一般概述,请参阅此article。

HBase是Hadoop数据库。当您需要对大数据进行随机、实时读/写访问时,请使用它。该项目的目标是在商用硬件集群上托管非常大的表--数十亿行x数百万列。

HBase是一个开源的,分布式的,面向列的存储,仿照谷歌的Bigtable: Chang等人的结构化数据的分布式存储系统。就像Bigtable利用Google File System提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的功能。HBase包括:

·方便的基类,用于使用HBase tables支持Hadoop MapReduce作业

·通过服务器端扫描和获取过滤器进行查询谓词下推

·实时查询优化

·高性能节约型网关·支持XML、Protobuf和二进制数据编码选项的REST-ful网络服务网关·级联源和宿模块·基于jruby的可扩展(JIRB) shell·支持通过Hadoop指标子系统将指标导出到文件或Ganglia;或通过JMX导出指标

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/2407588

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档