首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >深度学习:利用张量流对不平衡类进行前馈

问深度学习:利用张量流对不平衡类进行前馈
EN

Data Science用户
提问于 2017-01-28 00:36:50
回答 1查看 376关注 0票数 0

从理论上讲,深度学习神经网络可以预测一类观测量很小的类。我的问题是,我的课发生的时间不到4%。以完整分布的网络数据(96类和4%的另一类)进行网络预测,大部分是最常见的类。采用欠采样结果的模型能够预测90%较不常见的类,但仍有较高的假阳性率。我知道在模型的训练阶段使用F分数(带有beta >= 2)将允许我显著提高模型的性能。我的问题,我如何或在哪里设定我自己的性能指标在张量流?如有任何建议,敬请见谅。顺便说一下,我调整了所有的参数(学习速度,动量等等)。性能提高,但仍然没有达到我想要的水平。我的网络有20个输入,5个隐藏层,60个单元--我的批处理是100 (试到500),我尝试了从100到1,200。

密码是数学里的。

代码语言:javascript
复制
 netDrop1 = 
     NetGraph[<| "i1" -> BatchNormalizationLayer[], 
    "l1" -> CatenateLayer[], "l12" -> DropoutLayer[0.2], "l2" -> 60, 
    "l21" -> DropoutLayer[0.5], "l3" -> Tanh, "l22" -> 60, 
    "l221" -> DropoutLayer[0.5], "l33" -> Tanh , "l23" -> 60, 
    "l234" -> BatchNormalizationLayer[0.5] , "l34" -> LogisticSigmoid, 
    "l24" -> 60, "l2435" -> DropoutLayer[0.5], "l35" -> Ramp, 
    "l45" -> 60, "l435" -> DropoutLayer[0.5], "l36" -> Tanh, 
    "l55" -> 60, "l37" -> Tanh, "l4" -> 2, 
    "l5" ->  SoftmaxLayer[]|>, {NetPort["Input1"] -> 
     "i1" -> "l1" -> 
      "l12" -> 
       "l2" -> "l21" -> 
         "l3" -> "l22" -> 
           "l221" -> 
            "l33" -> 
             "l23" -> 
              "l234" -> 
               "l34" -> 
                "l24" -> 
                 "l2435" -> 
                  "l35" -> 
                   "l45" -> 
                    "l435" -> 
                    "l36" -> 
                    "l55" ->  "l37" -> "l4" -> "l5", {{NetPort[
        "MaritalStatus"], NetPort["Gender"], NetPort["Input"]} -> 
       "l1"}}, "Input" -> 11, "Input1" -> 2, 
       "MaritalStatus" -> NetEncoder[{"Class", marital, "UnitVector"}],
       "Gender" -> NetEncoder[{"Class", {"M", "F"}, "UnitVector"}],
       "Output" -> NetDecoder[{"Class", {"no", "yes"}}]]

从阅读有关NN的出版物中,我决定在输入级别创建一个Dropout,其输入级别为= 0.2,在随后的所有级别上,Dropout为0.5。正如您注意到的,我同时使用了切线和ReLu (但发现它们之间的性能差别很小),这是一个简单的FeedForward网络

我做过抽样,欠抽样取得了很大的成功:该模型能够回忆起大部分的是,但仍然预测许多阴性样本为阳性。

代码语言:javascript
复制
  <|{"yes", "no"} -> 972, {"no", "no"} -> 1082, {"yes", "yes"} -> 
  81, {"no", "yes"} -> 3|>

顺便说一句,我使用了这些相同的数据,并且使用了RandomForest和一个具有很好结果的实用函数http://femvestor.blogspot.com/search?q=geico。

EN

回答 1

Data Science用户

发布于 2017-02-04 16:12:13

为了提高网络的性能,我添加了一个批处理规范化层,以及在使用随机森林时必须删除的其他变量。其中一个变量是具有51个级别的范畴变量。由于原始数据集有15个数值变量和9个分类变量,所以我决定使用自动编码进行降维。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/16585

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档