模型压缩为什么它工作得很好？请解释一下

Question

模型压缩:让我用简单的术语来解释一下。

让X_train (特征)，Y_train (目标)作为训练数据。

X_train, Y_train ------> M1 (Example: decision tree)

X_train --------> M1 ----> Y_pred (predicted Y for X_train)

现在

Case 1:
    X_train, Y_pred -----------> M2 (Example: any model that is NOT decision tree)

    X_train ---------------> M2  ----------> Y_pred1 

Case 2:
    X_train, Y_train -----------> M2 (Example: any model that is NOT decision tree)

    X_train ---------------> M2  ----------> Y_pred2

现在我计算M2的AUC分数。

Case 1:
 AUC (Y_pred, Y_pred1)
Case 2:
  AUC (Y_train, Y_pred2)

病例1的AUC高于病例2的AUC。第一种情况称为模型压缩。我喜欢得到它背后的直觉。当然，AUC是用概率计算的。

Answer 1

结果背后的直觉是，给定X_train，Y_pred的条件熵为零。因此，M2可以比第二种情况更容易地学习X_train-> Y_pred。