使用Spark batch + Cassandra实现HyperLogLog

Question

我希望实现HyperLogLog算法，以计数不同的受众细分(或过滤器)不同的用户。我使用Cassandra + Spark batch。不知道Cassandra是否提供了对HyperLogLog类型的支持。

我找不到任何插件或任何相关的东西，除了http://vilkeliskis.com/blog/2013/12/28/hacking_cassandra.html，这是一个伟大的尝试，但尚未完成。

谢谢你的任何可能的提示！

Answer 1

Spark 2.0有一个native implementation of HyperLogLog++。