星星之火不会从netlib加载ARPACK或BLAS。

Question

我正在为我的数据计算SVD。但是，每当我使用spark-submit提交Spark应用程序时，日志文件状态如下：

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS

我使用-Pnetlib-lgpl标志构建了Spark，并在创建jar文件时将netlib依赖项包含在我的sbt文件中：

libraryDependencies ++= Seq(
    "org.apache.spark"  % "spark-core_2.10"              % "1.5.0" % "provided",
    "org.apache.spark"  % "spark-mllib_2.10"             % "1.3.0",
    "com.github.fommil.netlib"  %   "all"   %   "1.1.2"     pomOnly()
)

GCC和Gfortran版本都是gcc version 4.8.0 (GCC)。我还安装了BLAS、LAPACK和ATLAS，并遵循netlib站点上的说明：https://github.com/fommil/netlib-java。

在spark-shell中，当我作为import com.github.fommil.netlib._导入时，没有给出它没有导入的指示。

我试着调试这个问题已经有一段时间了，我已经没有想法了。有个好心的人帮我解决这个问题。

Answer 1

这是一个已知的痛点。

我成功地遵循了@ https://github.com/PasaLab/marlin/issues/1的指令，让这个可怕的东西在Spark1.4.x/ 1.5.x中与Intel一起工作。

我认为大概有一个地方，你必须调整这些指示，以连接到ATALAS，但它应该是可行的。