Catboost多分类评价指标: Kappa & WKappa

Question

我正在研究一个不平衡的分类问题，我想使用Kappa作为我的评估指标。考虑到分类器接受权重(我已经给了它)，我应该仍然使用加权kappa还是只使用标准kappa？老实说，我不完全确定有什么区别。

model = CatBoostClassifier(
    iterations = 1000,
    learning_rate = 0.1,
    random_seed = 400,
    one_hot_max_size = 15,
    loss_function = 'MultiClass',
    eval_metric = 'WKappa', # weighted kappa
    #ignored_features = ignore_list,
    class_weights= weights,
    od_type = "Iter",
    od_wait = 50,
    task_type = 'GPU',
    border_count = 124,
    depth = 12
)

Answer 1

我在Catboost github (问题)页面上发布了同样的问题，并得到了答案。这个链接可以在这里找到：https://github.com/catboost/catboost/issues/1447

答案：

WKappa中的类权重和权重是不同的。

WKappa度量的计算由两个步骤组成：

1. 混淆矩阵计算-这里使用对象和类的权重。
2. 使用混淆矩阵的WKappa计算-这里的值从混淆矩阵乘以类之间的平方差。(i-j)^2.换句话说，当0类的对象被分类为1级和5类时，0类的权重具有相同的效果。但如果分类错误0->5，则WKappa权重将比错误分类0->1的权重高25倍。因此，如果类是序数，则可以同时使用类权重和WKappa。