制度分类预模型训练？

Question

我没有正式的背景，所以请耐心点。这就是我的数据集的样子：

我对第一个变量建模感兴趣，使用其他变量作为解释。一个简单的OLS得到了一个或多或少令人满意的模型，但我不太清楚，我知道有k个(介于2到4之间)，在这里，我的Y变量和某些变量之间的相关性完全切换，使得整个OLS在数据集上完全不相关，因为我们这样做可以平滑所有这些机制。我尝试用R中的k-均值算法来区分这些区域，结果是图像中的着色。我希望这样划分数据集将揭示更多的“直线”，其中苏丹生命线行动将更“适合”。我想知道我是否走对了路，如果有人能指出实现基本问题的更好的方法，我会很感激:在考虑到不同的制度需要一个可能的不同的系数或(完全不同的模型?)的同时对Y~X进行建模。编辑:我也尝试了火星模型，但结果并不令人满意，因为“物理”意识到这些变量应该如何一起工作+稍微改变训练集会产生太多的系数变化。

Answer 1

只是几个想法：

• 看起来这些“机制”可以表示为一个潜变量：您可能可以设计一个贝叶斯模型，其中OLS模型依赖于这个潜在变量的值。这意味着，模型仍将只根据观察到的特征进行训练，但将在内部预测该制度的价值，这一数值将决定苏丹生命线行动模型的参数。
• 一种更直接的方法是使用决策树(或随机森林)，因为它们可以在不同的分支中处理独立的模型。然而，我不知道如何使决策树和线性回归一起工作(或者是否有可能)。