如何在数据科学经验的基础上实现TensorFrames火花软件包？

Question

我已经能够导入这个包：

import pixiedust
pixiedust.installPackage("databricks:tensorframes:0")

但当我尝试一个简单的例子：

import tensorflow as tf
import tensorframes as tfs
from pyspark.sql import Row
data = [Row(x=[float(x), float(2 * x)],
            key=str(x % 2),
            z = float(x+1)) for x in range(1, 6)]
df = spark.createDataFrame(data)
tfs.print_schema(df)

我得到以下错误：

..。

Py4JJavaError: An error occurred while calling o97.loadClass.
: java.lang.NoClassDefFoundError:com.typesafe.scalalogging.slf4j.LazyLogging

..。

我查过这个问题了，而且在依赖树中似乎有一个较旧的scala-logging-slf4j工件。如何删除这个工件？，一旦它被删除，我想我可以用PixieDust添加一个更新的版本：

pixiedust.installPackage("https://mvnrepository.com/artifact/com.typesafe.scala-logging/scala-logging-slf4j_2.10/2.1.2") pixiedust.installPackage("https://mvnrepository.com/artifact/com.typesafe.scala-logging/scala-logging-api_2.10/2.1.2")

Answer 1

IBM support的Charles帮助我找到了应该包含哪些jars：

pixiedust.installPackage("http://central.maven.org/maven2/com/typesafe/scala-logging/scala-logging-slf4j_2.10/2.1.2/scala-logging-slf4j_2.10-2.1.2.jar") pixiedust.installPackage("http://central.maven.org/maven2/com/typesafe/scala-logging/scala-logging-api_2.10/2.1.2/scala-logging-api_2.10-2.1.2.jar")

这在技术上解决了第一个错误，但是TesnsorFrames仍然不能工作。我会发布另一个更具体的问题。