如何实现通用编码器？

Question

我想实现一个通用编码器，因为我在Spark1.6上有一个小项目，当我将它迁移到Spark2.0时，它给了我警告和错误

Unable to find encoder for type stored in a Dataset.  Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._  Support for serializing other types will be added in future releases.

因此，在许多地方，我希望实现一个通用编码器，并将其放入package对象中。我只想知道如何在spark 2.0中实现通用编码器？

Answer 1

开发自定义编码器通常从从org.apache.spark.sql.Encoders对象组合现有编码器开始。

请注意，星火中的许多地方检查正在使用的编码器是否是ExpressionEncoder的实例(即SparkSession.createDataset，因此您可能希望查看表达式编码器作为自定义开发的基础。