我之所以问这个问题,是因为我想知道在数据库或共享键值存储上运行mapreduce查询是否有效?
例如,要实现一个网络拖网工具,它对互联网进行索引,并计算不同网页上的所有术语,使用数据库作为后端可以有效地完成这一任务吗?
发布于 2010-03-18 02:13:42
好的。HBase和其他NoSql商店非常适合这项任务。
有关将HBase与MapReduce一起使用的一般概述,请参阅此article。
HBase是Hadoop数据库。当您需要对大数据进行随机、实时读/写访问时,请使用它。该项目的目标是在商用硬件集群上托管非常大的表--数十亿行x数百万列。
HBase是一个开源的,分布式的,面向列的存储,仿照谷歌的Bigtable: Chang等人的结构化数据的分布式存储系统。就像Bigtable利用Google File System提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的功能。HBase包括:
·方便的基类,用于使用HBase tables支持Hadoop MapReduce作业
·通过服务器端扫描和获取过滤器进行查询谓词下推
·实时查询优化
·高性能节约型网关·支持XML、Protobuf和二进制数据编码选项的REST-ful网络服务网关·级联源和宿模块·基于jruby的可扩展(JIRB) shell·支持通过Hadoop指标子系统将指标导出到文件或Ganglia;或通过JMX导出指标
https://stackoverflow.com/questions/2407588
复制相似问题