特征少，模型训练时间长

Question

利用机器学习算法对恶意软件进行分析。当我输入一些特性时，我得到了奇怪的训练时间。例如：

1. 4特征(A，B，C，D)，模型训练时间3秒，
2. 3特征(A，B，C)，训练时间5秒，
3. 2特征(A，B)，训练时间8秒，
4. 1特征(A)，训练时间4秒。这种结果既发生在MLP上，也发生在随机森林上。在我看来，如果使用更少的特性，培训时间应该会更快，但结果完全不同。

在KNN中，结果如下：

1. 如果我使用6,5,4,3特征(A，B，C，D，E，F)，模型测试时间约为1.1秒，几乎相同。
2. 2功能(A，B)，模型测试时间为3秒，
3. 1功能(A)，模型测试时间为5秒。

我的数据集有17K记录，使用10倍交叉验证。特征A的熵最高，特征F的熵最小。使用Google和sklearn进行测试。我在不同的日期尝试过几次，而且趋势是一样的。我的数据集共有79个特征，只有很少的特征才会出现。

谢谢任何回复我的人，我对此一无所知。

Answer 1

乍一看，拥有更少的特征会导致更少的训练时间。然而，取决于所使用的算法，情况可能不是这样。在训练中，目标函数(损失函数)被算法最小化。以MLP神经网络为例，如果你改变特征(特别是取决于它们是否信息丰富)，就会改变发生优化的特征空间(或“错误面”)，并且函数的最小值可能更难找到，从而导致更多的步骤和更长的训练以满足收敛准则。