在选择特征时是否使用与模型相同的算法？

Question

我的问题是，您是否应该使用与您的模型相同的特征选择算法？

如果我使用KNN模型进行分类，那么在运行特征选择时也应该使用KNN algo吗？或者lightGBM algo用于特征选择和lightGBM模型？

或者有一个最好的选择功能，你可以使用这些功能与任何模型？

我知道有几种不同的特征工程技术，我只是不知道哪些技术应该与不同的机器学习算法一起使用。

Answer 1

是的--您可以使用相同的算法进行特征选择和预测。最常见的例子是L1回归和基于树的算法。这些算法既能找到最重要的特征，又能利用相同的拟合机制对目标进行预测。

这些算法与示例的不同之处在于，这些算法同时执行两个步骤，并且您的示例是顺序的。

没有单一的最佳特征选择算法，也可以用于其他模型的预测。不同的算法将在不同的数据集上表现得更好。