Storm-Crawler与Cassandra的集成并在Gradle中构建拓扑

Question

我试图在我的项目中实现Storm-Crawler，但我需要使用Cassndra和Gradle。我喜欢使用Storm-Crawler和ElasticSearch堆栈，但在这种情况下，我不得不使用这个解决方案。我尝试了几次使用gradle构建uber jar，但都没有成功。有人在gradle中构建了Storm-Crawler拓扑吗？我将Apache-Storm配置为使用Cassandra，但是如何将Strom-Crawler中的数据放入Cassandra？

Answer 1

Gradle恐怕帮不上忙，但对于Cassandra部分:你是想在其中存储文档的内容和元数据，还是也用它来存储关于URL的信息(就像ES中的状态索引一样)？对于前者，实现您自己的索引器来扩展AbstractIndexerBolt，对于后者，您将需要一个状态更新器和spout，这有点复杂。