在Map Reduce上实施DBSCAN时需要帮助

Question

我正在尝试在MR上实现DBSCAN，并使用下面粘贴的链接中的直觉

http://codingwiththomas.blogspot.com/2012/05/distributed-dbscan-intuition.html

Best programming language to implement DBSCAN algorithm querying a MongoDB database?

我的问题是如何计算初始距离矩阵。我不想仅仅为了计算距离矩阵而运行hadoop作业，并将其存储在内存中，因为我不会是一个好的设计。有什么建议吗。

Answer 1

感谢你阅读我的博客。

是的，计算距离矩阵是非常困难的。

我应用了minhash聚类(mahout也有一个实现)来查找非常相似的向量。所以你不必计算整个距离矩阵，而是计算相似向量的距离矩阵。

因此，我对您的建议是使用mahout的minhashing来查找相似向量的集群。然后为它们计算一个较小的距离矩阵，然后应用我在帖子中写的其余要点：

• 从你的“迷你”集群中提取邻接点
• 从结果图中运行连通分量算法(有MapReduce，Giraph和Hama的实现)

所以基本上就是这样了。不幸的是，不能开放整个阶段的源代码，所以这就是整个过程所需要的。