数据草图: MinHash LSH森林

Question

我正在尝试创建一个用于最近邻搜索的forst，但我不确定这样做是否正确，或者甚至不确定MinHash / LSH是否适合我的数据。我问这个是因为结果是不可用的。

我正在尝试遵循文档中的example。

我的数据：

512维，例如值有点，例如0或1，这对于MinHash / LSH是可用的吗？如果是，我该如何为每条记录构造MinHash？

据我所知，minhash的意义已经是将数据映射到这样的位结构了？这样我就可以把比特装进去了？就像在h = MinHash(num_perm=512, hashvalues=listOfBits)里？

Answer 1

如果各个数据记录可以被描述为集合(例如，文本文档作为单词集合)，并且这些记录之间的相似度由相应集合的MinHash相似度来描述，则可以使用Jaccard技术。

如果你真的想要应用MinHash，你首先需要找到一种方法来表示你设置的512大小的位向量。一种可能性是考虑值为1的比特索引集合。接下来，您需要考虑这样的比特索引集合之间的Jaccard相似性是否真的有意义，并适当地描述这种相似性。