我对所有这些术语都很陌生,给了我一些时间去理解它。但我有一些困惑。如果我错了,请纠正我。
Nutch:这是用于网页爬行,使用它,我们可以抓取网页。我们可以把这些网页存储在db的某个地方。
Solr: Solr可以用于为Apache爬行的网页建立索引。它有助于搜索索引网页。
HBase:它被用作与Hadoop交互的接口。它有助于从HDFS实时获取数据。它为交互提供了简单的SQL类型接口。
Hadoop:它提供了两个功能:一个是HDFS (Hadoop数据文件系统),另一个是从Google算法获取的Map-还原功能。它主要用于离线数据备份等。
戈拉和ZooKeeper:我不确定。
混淆: 1)。HBase是一个键值对DB还是仅仅是Hadoop的一个接口?或者我应该问,没有Hadoop HBase还能存在吗?如果是的话,你能解释一下它的用法吗?
2)。在没有索引到Solr的情况下,是否可以使用Apache爬行数据?
3)。要运行apache,我们需要HBase和Hadoop吗?如果没有,我们如何才能使它没有它的工作?
4)。Hadoop是HBase的一部分吗?
发布于 2015-03-26 20:24:29
因为HBase构建在Hadoop之上,所以没有Hadoop就不能真正拥有HBase。
Zookeeper用于Hadoop堆栈工作流中的配置、命名、同步等。Gora是一个内存管理/持久性框架,构建在Hadoop之上。
https://stackoverflow.com/questions/29287204
复制相似问题