使用Solr和Hadoop进行文本挖掘

Question

我有一个包含大约1亿个文档的Solr数据库。我想对这些文档进行文本挖掘。

我正在考虑用javacode制作文本挖掘模块。然后在Hadoop集群上运行jar。(模块的输出可以存储在solr中。)

我是Hadoop和Solr的新手。我想知道，这是可能的吗？和/或有没有更好的文本挖掘文档的方法？

任何关于这种情况的想法都会对我有很大的帮助。

Answer 1

您是否经常需要访问文档？

如果需要访问大型文档，可以使用SolrCloud。分片和副本结构可以服务于高负载。

和json/xml存储到Solr很容易。

Answer 2

在使用完全自定义的代码之前，请检查Mahout库；它有一个Lucene驱动程序，并且它与Hadoop集成在一起，可以实现大多数目的。大多数情况下，您需要术语向量才能使用Mahout进行挖掘。一旦你有了它-这是一个相当无缝的设置。