当LASSO已经是一个包含的基准时，添加弹性网作为一个额外的基准会增加价值吗？

Question

我目前正在与一位合作者一起从事一个研究项目，其中他提出了一种新的学习算法，用于最优变量的选择，并探索其计算、统计和渐近特性；同时，我提出并运行了几种基准测试方法，用于比较其性能和我提出的基准都运行在我的合作者通过Monte模拟生成的260 k合成数据集上。

到目前为止，我已经确定了3个基准: BM1 - LASSSO回归、BM2 -向后逐步回归和BM3 -正向逐步回归。我一直在考虑在Elastic上添加另一个第4基准，但有些东西告诉我，它不值得额外的编码和调试时间。如果包括套索的话，还会增加什么重要的价值吗？

Answer 1

不，原因是弹性网作为L1和L2规范之间的交叉，只会选择LASSO选择的变量子集，或者如果惩罚非常接近于将其lambda惩罚设置为1，它可能会选择与LASSO完全相同的变量集。然而，它永远不会选择LASSO没有选择的一个或多个变量，因为它具有相同的目标(损失)函数，它寻求最小化相同类型的惩罚，并且适合于同一数据集。