稀疏向量与密集向量PySpark

Question

我如何知道是否应该在PySpark中使用稀疏或密集的表示？我理解它们之间的区别(稀疏只通过存储非零的索引和值来节省内存)，但是从性能上讲，有什么通用的启发式方法来描述什么时候使用稀疏向量而不是密集的向量呢？

是否有一个一般的“截止”维数和0的百分比值，超过这通常是更好地使用稀疏向量？若否，我应如何作出决定？谢谢。

Answer 1

需要记住的是，pyspark.ml.linalg.Vector和pyspark.mllib.linalg.Vector只是Python和Java之间的兼容层。没有完整的或优化的线性代数实用程序，您不应该这样使用它们。可用的操作要么不是为性能而设计的，要么只是在封面下转换为标准的NumPy数组。

当与其他ml / mllib工具一起使用时，将进行序列化，并将其转换为Java等价物，因此Python具象的性能基本上是不重要的。

这意味着最大的真正关注是存储，一个简单的经验法则是：

• 如果平均一半条目为零，则最好使用SparseVector。
• 否则，最好使用DenseVector。