GridsearchCV的预处理

Question

我使用GridsearchCV来调优超参数，现在我想在训练和验证step.But时做一个min Normalization(StandardScaler())，我想我不能这样做。

问题是：

1. 如果我将预处理步骤应用于整个训练集，并将其发送到GridsearchCV进行10 foldCV。这会让我发现数据泄漏对吧？因为训练集将运行10倍，这意味着9倍的训练和1倍的测试折叠。规范化应该只适用于训练集，而不是验证集，对吗？
2. 如果我用滑雪板的管道，它不会解决这个问题，对吗？因为它只运行一次，并再次导致数据泄漏。
3. 是否有其他方法可以这样做，并且仍然使用GridsearchCV来调优参数？

Answer 1

的确，这将导致数据泄漏，这是非常好的，你抓住它！

使用管道解决此问题的一个解决方案是，使用StandardScaler作为管道中的第一个操作，然后是您选择的分类器，并最终将这个管道传递给GridSearchCV

clf = make_pipeline(StandardScaler(), 
                    MyClassifier())
grid_search = GridSearchCV(clf, refit=True)

有关更多信息，请访问本文这里