从理论上讲,深度学习神经网络可以预测一类观测量很小的类。我的问题是,我的课发生的时间不到4%。以完整分布的网络数据(96类和4%的另一类)进行网络预测,大部分是最常见的类。采用欠采样结果的模型能够预测90%较不常见的类,但仍有较高的假阳性率。我知道在模型的训练阶段使用F分数(带有beta >= 2)将允许我显著提高模型的性能。我的问题,我如何或在哪里设定我自己的性能指标在张量流?如有任何建议,敬请见谅。顺便说一下,我调整了所有的参数(学习速度,动量等等)。性能提高,但仍然没有达到我想要的水平。我的网络有20个输入,5个隐藏层,60个单元--我的批处理是100 (试到500),我尝试了从100到1,200。
密码是数学里的。
netDrop1 =
NetGraph[<| "i1" -> BatchNormalizationLayer[],
"l1" -> CatenateLayer[], "l12" -> DropoutLayer[0.2], "l2" -> 60,
"l21" -> DropoutLayer[0.5], "l3" -> Tanh, "l22" -> 60,
"l221" -> DropoutLayer[0.5], "l33" -> Tanh , "l23" -> 60,
"l234" -> BatchNormalizationLayer[0.5] , "l34" -> LogisticSigmoid,
"l24" -> 60, "l2435" -> DropoutLayer[0.5], "l35" -> Ramp,
"l45" -> 60, "l435" -> DropoutLayer[0.5], "l36" -> Tanh,
"l55" -> 60, "l37" -> Tanh, "l4" -> 2,
"l5" -> SoftmaxLayer[]|>, {NetPort["Input1"] ->
"i1" -> "l1" ->
"l12" ->
"l2" -> "l21" ->
"l3" -> "l22" ->
"l221" ->
"l33" ->
"l23" ->
"l234" ->
"l34" ->
"l24" ->
"l2435" ->
"l35" ->
"l45" ->
"l435" ->
"l36" ->
"l55" -> "l37" -> "l4" -> "l5", {{NetPort[
"MaritalStatus"], NetPort["Gender"], NetPort["Input"]} ->
"l1"}}, "Input" -> 11, "Input1" -> 2,
"MaritalStatus" -> NetEncoder[{"Class", marital, "UnitVector"}],
"Gender" -> NetEncoder[{"Class", {"M", "F"}, "UnitVector"}],
"Output" -> NetDecoder[{"Class", {"no", "yes"}}]]从阅读有关NN的出版物中,我决定在输入级别创建一个Dropout,其输入级别为= 0.2,在随后的所有级别上,Dropout为0.5。正如您注意到的,我同时使用了切线和ReLu (但发现它们之间的性能差别很小),这是一个简单的FeedForward网络

我做过抽样,欠抽样取得了很大的成功:该模型能够回忆起大部分的是,但仍然预测许多阴性样本为阳性。
<|{"yes", "no"} -> 972, {"no", "no"} -> 1082, {"yes", "yes"} ->
81, {"no", "yes"} -> 3|>顺便说一句,我使用了这些相同的数据,并且使用了RandomForest和一个具有很好结果的实用函数http://femvestor.blogspot.com/search?q=geico。
发布于 2017-02-04 16:12:13
为了提高网络的性能,我添加了一个批处理规范化层,以及在使用随机森林时必须删除的其他变量。其中一个变量是具有51个级别的范畴变量。由于原始数据集有15个数值变量和9个分类变量,所以我决定使用自动编码进行降维。
https://datascience.stackexchange.com/questions/16585
复制相似问题