K近邻和决策树的特征选择

Question

我有两个数字，数字和9个特征。

我必须选择两个特征，所以决定把这些特征相提并论，看看我是否能够洞察到最好的特征来训练我的算法。

图中的颜色表示两位数。

我考虑使用的算法有:K近邻算法和决策树算法。我对机器学习非常陌生，我选择这两种算法只是因为我遇到了它们。

f1到f9与f1到f9的特征矩阵

决策树决策边界

我有几个问题：

用最少的重叠量选择特征x和特征y有助于达到最优的决策边界吗？

当我看特性时，应该首先考虑线性数据分离。然后用一种可以处理非线性分离特征点的算法来完成我的工作？

在选择最优的训练特征时，我应该注意哪些重要的视觉特性？

我怎样才能想象雪橇巨蟒中的树呢？

谢谢。

Answer 1

• 就像其他人说的那样，良好的视觉分割是一个很好的起点。(对我来说，f8-f1似乎是一个很好的起点。
• 然而，通过PCA转换特征集并使用顶级特征因子(新的组合特征)进行训练，可以获得更好的效果。
• 你还没有说明它是否是一个监督(你知道不。对于某些数据集的类和实际类)，假设您没有，而且它是无监督的，我也会尝试类似于dbscan的算法。一般都是快的。
• 如果您想尝试神经网络方法，请尝试嗜睡或神经气体。

Answer 2

在选择最佳的训练特征时要注意的视觉属性:选择两个显示不同组最好的特性

Answer 3

从根本上讲，良好的视觉分割是一个很好的起点。是的，记住算法如何划分空间是明智的。

一个好的策略，我个人喜欢应用是从简单的学习者开始学习如何构造你的数据。锄头好不管用，有没有地方行为的暗示？朴素的贝斯有多好？概念是复杂的还是单个特征包含信息？等。

至于选择特性:您可以尝试根据比较其使用情况的方法(例如信息增益)对您的特性进行排序，或者编写一个方案，在您的两个方法上尝试所有两个组合(只需9*8次运行)。如果空间再大一点，我建议把两者结合起来。您还可以尝试组合功能(fi: PCA)。