在机器学习的堆叠中，你应该按什么顺序训练模型？

Question

我目前正在学习在一个机器学习问题中做堆叠。我将获取第一个模型的输出，并将这些输出用作第二个模型的特征。

我的问题是:顺序重要吗？我使用的是套索回归模型和增强树。在我的问题中，回归模型的性能优于boosted树。因此，我认为我应该第二次使用回归树，第一次使用增强树。

在做这个决定时，我需要考虑哪些因素？

Answer 1

你为什么不尝试一下特征工程来创建更多的特征呢？不要试图使用一个模型的预测作为另一个模型的特征。您可以尝试使用K-means对相似的训练样本进行聚类。对于堆叠，只需使用不同的模型，然后对结果进行平均(假设您有一个连续的y变量)。