阿帕奇Spark中的Kryo

Question

Spark文档指出，您所要做的就是注册您的类，并将两个变量添加到conf：

import com.esotericsoftware.kryo.Kryo
import org.apache.spark.serializer.KryoRegistrator

class MyRegistrator extends KryoRegistrator {
  override def registerClasses(kryo: Kryo) {
    kryo.register(classOf[MyClass1])
    kryo.register(classOf[MyClass2])
  }
}

val conf = new SparkConf().setMaster(...).setAppName(...)
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
conf.set("spark.kryo.registrator", "mypackage.MyRegistrator")
val sc = new SparkContext(conf)

我已经在我的代码中实现了这一点，但是当我尝试对(Text，Text)的键/值序列文件进行排序时，仍然会遇到序列化错误。我的MyRegistrator版本如下所示：

class MyRegistrator extends KryoRegistrator {
  override def registerClasses(kryo: Kryo) {
    kryo.register(classOf[Text])
  }
}

我还在MyRegistrator中添加了日志记录，但看不到任何日志语句。我还故意拼写错了MyRegistrator的名称，作业没有出错。这肯定比文档所揭示的要多得多。还有什么我需要做的吗？

我使用的是Apache Spark 1.0.2。

谢谢

Answer 1

我能够弄清楚如何解决这个问题。我将Apache Spark的版本升级到1.1.0，它开始工作了。我根本没有改变任何代码，唯一改变的是我的POM。为了证明它是有效的，我在我的代码中注释掉了所有对Kryo的引用，并重新运行。它因序列化错误而失败。