首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >XGBoost。如何从xgb.dump (多重:软目标)获取类概率

问XGBoost。如何从xgb.dump (多重:软目标)获取类概率
EN

Stack Overflow用户
提问于 2016-10-04 18:01:55
回答 1查看 2.6K关注 0票数 1

我用XGBoost进行了三级分类预测.接下来是获取树模型(由xgb.dump()打印),并在.net生产系统中使用。我真的不明白如何才能从休假中的单一值中得到概率的3倍值:

代码语言:javascript
复制
<code>
[1107] "booster[148]""0:[f24<1.5] yes=1,no=2,missing=1"          
[1109] "1:[f4<0.085] yes=3,no=4,missing=3""3:leaf=0.00624765"                         
[1111] "4:leaf=-0.0208106""2:[f4<0.115] yes=5,no=6,missing=5"         
[1113] "5:leaf=0.14725""6:leaf=0.0102657"  
</code>

附注:由于速度限制,从.Net中使用python函数不是一个好主意。

EN

回答 1

Stack Overflow用户

发布于 2016-11-16 13:02:57

这花了一段时间才弄明白。一旦你得到了你的树,接下来的步骤是

  1. 计算出每个助推器的叶值。第一类助推器是0级,其次是1级,其次是2级,其次是0级和1级等等。因此,从本质上说,如果你有10个num_round,你会看到30个助推器。 小心“失踪”。如果您没有在DMatrix中特别提到缺少的值,xgb可以将值0视为缺失。因此,当您在树下行走时,当您的特征值为0时,您可能需要跳到由missing=x表示的节点x。解决这一令人困惑的问题的一种方法是确保您在训练和预测时在DMatrix中加入了一个缺失的值。我将一个不可能出现在我的数据中的值放在我的数据中,并确保在我训练或预测之前用一些(非零)值替换它们来处理NA类型的值。显然,0对您来说实际上意味着缺少,在这种情况下,这是可以的。实际上,您可能会注意到,在分类特性中,数据中有1或0,而树中的节点在非常小的负数上有一个荒谬的条件,等等。
  2. 假设你有3发子弹。然后,您将得到这样的值,如0类的l1_0,l2_0,l3_0、1类的l1_1,l2_1,l3_1和2类的l1_2,l2_2,l3_2。 现在,确保您得到正确逻辑的一个很好的方法是设置output_margin和pred_leaf。一次一次。当您设置pred_leaf时,您将得到一个矩阵,它将准确地显示您应该为所有类选择哪个叶,用于单个实例。设置output_margin时,您将得到xgb正在计算的叶值之和。 现在,这个和是0类的0.5 + l1_0+l2_0+l3_0,以此类推。您可以交叉验证这一点,并使用output_margin进行预测响应。这里0.5是偏倚。
  3. 现在假设你得到了v0,v1和v2作为偏差+叶值的求和结果。那么0级的概率是 p(class0) = exp(v0)/(exp(v0)+exp(v1)+exp(v2))
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39858916

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档