使用netlib-java的“'Symbol查找错误”

Question

背景与问题

我在运行Fedora 23的机器上运行Spark的MLLib中的示例时遇到了一些麻烦。我已经构建了Spark1.6.2，每个火花文档都有以下选项：

build/mvn -Pnetlib-lgpl -Pyarn -Phadoop-2.4 \
  -Dhadoop.version=2.4.0 -DskipTests clean package

在运行二进制分类示例时：

bin/spark-submit --class org.apache.spark.examples.mllib.BinaryClassification \
  examples/target/scala-*/spark-examples-*.jar \
  --algorithm LR --regType L2 --regParam 1.0 \
  data/mllib/sample_binary_classification_data.txt

我收到以下错误：

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.92-1.b14.fc23.x86_64/jre/bin/java: symbol lookup error: /tmp/jniloader5830472710956533873netlib-native_system-linux-x86_64.so: undefined symbol: cblas_dscal

此表单的错误(netlib中的符号查找错误)不限于此特定示例。另一方面，弹性网络示例(./bin/run-example ml.LinearRegressionWithElasticNetExample)运行时没有问题。

尝试解决方案

我尝试了一些解决办法，但都没有结果。例如，我在这里查看了一些建议( https://datasciencemadesimpler.wordpress.com/tag/blas/ )，虽然我可以成功地从com.github.fommil.netlib.BLAS和LAPACK导入，但前面提到的符号查找错误仍然存在。

我已经阅读了fommil/netlib-java的netlib-java文档，并确保我的系统拥有libblas和liblapack共享的对象文件：

 $ ls /usr/lib64 | grep libblas
libblas.so
libblas.so.3
libblas.so.3.5
libblas.so.3.5.0

$ ls /usr/lib64 | grep liblapack
liblapacke.so
liblapacke.so.3
liblapacke.so.3.5
liblapacke.so.3.5.0
liblapack.so
liblapack.so.3
liblapack.so.3.5
liblapack.so.3.5.0

我发现的最有希望的建议是在这里http://fossdev.blogspot.com/2015/12/scala-breeze-blas-lapack-on-linux.html，它建议包括

JAVA_OPTS="- Dcom.github.fommil.netlib.BLAS=com.github.fommil.netlib.NativeRefBLAS"

在sbt脚本中。因此，我在_COMPILE_JVM_OPTS="..."脚本中将这些选项附加到build/mvn脚本中，这也解决不了问题。

最后，我在网上找到的最后一点建议建议将以下标志传递给sbt

sbt -Dcom.github.fommil.netlib.BLAS=com.github.fommil.netlib.F2jBLAS \
-Dcom.github.fommil.netlib.LAPACK=com.github.fommil.netlib.F2jLAPACK \
-Dcom.github.fommil.netlib.ARPACK=com.github.fommil.netlib.F2jARPACK

这个问题仍然存在。在我的帖子中，我被限制在两个链接上，但这个建议可以在github上作为丁香的README.md 'scaladatascience‘回购。

有没有人遭受这个问题，并成功地解决了这个问题？任何和所有的帮助或建议都是非常感谢的。

Answer 1

已经过了几个月了，但我回到了这个问题上，并找到了一个有效的解决办法(在这里发布，以防其他人有同样的问题)。

它归结为库优先级；因此，通过调用：

$ export LD_PRELOAD=/path/to/libopenblas.so

在启动星火之前，一切都如预期的那样工作。

我在阅读后想出了解决办法：

• https://github.com/fommil/netlib-java/issues/88 (直接解决这个问题)
• JNI "symbol lookup error" in shared library on Linux (类似的链接问题，与火花无关，但答案是关于链接的信息)