决策树-非常稀疏特征的预处理

Question

如何为决策树的稀疏特性预处理数据？

从这个决策树的Turi文档

它提到这一点：

为什么选择决策树？不同的型号有不同的优点。决策树模型非常擅长处理具有数值特征的表格数据，或少于数百个类别的分类特征。与线性模型不同，决策树能够捕捉特征与目标之间的非线性交互.一个重要的注意事项是，基于树的模型的设计并不是为了处理非常稀疏的特性。当处理稀疏输入数据(例如大维分类特征)时，我们可以对稀疏特征进行预处理以生成数值统计数据，也可以切换到更适合这种情况的线性模型。

如果我们有一个非常稀疏的分类列(许多0's)，那么对于这个类别，我们可以对每一行转换什么类型的数字统计？

Answer 1

稀疏分类数据有许多特征工程选项。有几个共同的选择：

• 删除特性-删除稀疏的列
• 特征约简-奇异值分解(SVD)就是一个例子。
• 减少类别数量--使用领域知识，将相关的低频类别组合在一起
• 使用稀疏表示只存储非零元素