为什么我们不在spark中使用hadoop可写数据类型呢？

Question

在hadoop中，我们不使用java序列化，因为它体积大，速度慢。因此hadoop提供了与java序列化相比快速的Writable。

在spark中，默认情况下我们使用java序列化，如果我们不想使用java序列化，则可以使用Kryo序列化。我的问题是，为什么不能(不)在spark中使用hadoop序列化呢？，因为我们知道它是紧凑和快速的。

Answer 1

您可以通过newAPIHadoop读取器/ SparkContext的编写方法使用输入和输出格式(由Writable输入)

https://spark.apache.org/docs/current/api/java/org/apache/spark/SparkContext.html#newAPIHadoopRDD(org.apache.hadoop.conf.Configuration,%20java.lang.Class,%20java.lang.Class,%20java.lang.Class)