在星火NaiveBayes中处理连续数据

Question

根据星火NaiveBayes的官方文件：

它支持多项NB (见这里)，它可以处理有限支持的离散数据。

如何处理火花NaiveBayes中的连续数据(例如:某些文档中某些数据的百分比)？

Answer 1

当前的实现只能处理二进制特性，因此为了获得良好的结果，您必须对数据进行离散化和编码。对于离散化，可以使用Buketizer或QuantileDiscretizer。前者的价格较低，当您想要使用特定领域的知识时，可能会更合适。

对于编码，可以使用OneHotEncoder进行虚拟编码。调整后的dropLast Param。

所以总的来说，你需要：

• 每个连续特性的QuantileDiscretizer或Bucketizer -> OneHotEncoder。
• 每个离散特性的StringIndexer* -> OneHotEncoder。
• VectorAssembler将以上所有内容结合起来。

*或预定义的列元数据。