Skorch:使用AUC代替ACC进行验证

Question

当我在skorch中运行net.fit(X,y)时，它会打印出所有好的东西--有没有办法将验证函数更改为AUC、F1或其他第三个函数，而不是标准精度？或者，如果不可能，有没有办法从网络中提取验证集，并“手动”计算它？

Answer 1

您可以结合EpochScoring回调使用任何sklearn指标，因此AUC和F1可以很好地工作。看一下这个notebook，看看它在实践中是如何工作的。您甚至可以实现自己的度量标准，只要它符合sklearn API。