火花ALS变换性能

Question

我是个火花新手。我用火花放电来推荐ALS。试衣只需几分钟，而且跑得相当快。然而，model.transform函数需要很长的时间，并且需要集群中更多的节点。

1. 我想知道是否有什么优化可以处理model.transform函数？
2. 下面的方法是什么？它只是简单的矩阵乘法吗？如果是这样的话，我就不能使用另一个矩阵乘法库吗？

Answer 1

是的，ALS算法的本质是矩阵乘法。首先要检查日志中是否有此类警告。

15/06/15 11:17:36 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
15/06/15 11:17:36 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
15/06/15 11:17:36 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
15/06/15 11:17:36 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK

如果您这样做了，您可能应该添加外部线性代数库作为依赖项。请参阅此指南