一种比较一种新的变量选择算法性能的第4种基准方法

Question

我正在与一位著名的计量经济学研究生合作进行一个研究项目(尽管只在MS程序中，而不是在PhD程序中-请注意)，探索最佳子集选择(也称为所有子集回归)算法的新变化的特性并比较其性能，他将其称为EER (估计穷尽回归)算法。

我在这个合作研究项目中的主要角色是扩大基准标准/直接前向变量选择程序的数量，以比较EER的性能(根据它能够根据标准性能指标(如TPR、TNR、PPV等)选择多少真正的结构回归器)，通过Monte模拟随机生成一组260 k的合成数据集。他最初的工作比较了EER的性能与反向消除逐步回归和另一种变量选择方法，不值得在这里解释。

到目前为止，我已经添加了LASSO回归和前向选择逐步回归(后者仅仅是因为在完成BE代码的调试过程之后在R中运行FS很简单)。但我真的想不出一个简单的第四种方法，我在考虑弹性网，但这只是增加了另一个基准，它非常类似于一个已经包含的，这是我之前已经做过的，这对我来说似乎没有多大帮助。

附注：如果读到这篇文章的人认为我也应该认真考虑加入弹性网作为自己的、单独的、第4(或第5条)假设我能够实现这个问题的好答案的基准比较法，如果你真的这么认为，请为我明确你的论点，这样我就可以考虑它。

Answer 1

我建议也不要将弹性网络回归作为额外的基准，因为它可能会选择相同的一组因素，或者你的套索回归选择的一组特征的完美子集，这样你就不会得到任何新的选择来比较这个新的EER算法的结果。