首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >对高精度数据的深入学习

问对高精度数据的深入学习
EN

Stack Overflow用户
提问于 2022-05-12 13:01:51
回答 1查看 54关注 0票数 0

任务

假设神经网络存在以下问题。给定一个实数x,如果x等于a(即7.123456789),则输出1,否则输出0。

数据集

对于这个问题,我们构造了一个2000个样本的数据集,其中1000个样本等于a,另外1000个样本不同于a,随机抽样“足够远”和“足够远”,其中“足够远”由间隙(< 1)和稀疏(> 1)两个参数决定。每个样本都来自(a -间隙*稀疏,a-间隙)U (a +间隙,a+间隙*稀疏性)。换句话说,差距决定了重要小数的数目,稀疏决定了x的方差。

模型

具有ReLU激活的单个隐层的前馈网络(hidden_dim神经元)。具有标准参数的Adam优化器,1e-4学习率,2000年训练期,BCE损失。float64权值和float64输入张量。

结果

最佳验证精度作为间隙的函数

昏暗

不幸的是,我没有足够的声誉嵌入图像..。

问题

从数据中可以看出,缩小差距,更难解决神经网络的问题(稀疏度固定在1e2)。对于小于1e-4的差距,它无法了解两者的区别。下面是10个样本的例子,以及1e-4间隙和1e2稀疏性的标签:

代码语言:javascript
复制
(array([[7.113817389875074 ],
        [7.123456789123456 ],
        [7.121479348058312 ],
        [7.123456789123456 ],
        [7.123456789123456 ],
        [7.11874792046549  ],
        [7.1248334895646215],
        [7.123456789123456 ],
        [7.131370982033207 ],
        [7.118704508563716 ]]),
 array([0., 1., 0., 1., 1., 0., 0., 1., 0., 0.]))

对于这样的数据,我找不到任何文献或提示。有人能推荐一些吗?我认为性能可以通过一个非标准的权值初始化显着提高,但我感到惊讶的是,没有这方面的文献。此外,从数学角度看,精度根本不应该是一个问题(实数的密度)。

描述的任务是一个玩具问题,但我对它感兴趣,因为我有高精度的光谱测量。

EN

回答 1

Stack Overflow用户

发布于 2022-05-12 13:26:10

不清楚这样的方法对你的实际问题是否有用,或者仅仅是玩具例子,但是你应该标准化你的数据,使预期输入的范围在一个有意义的范围内(一个共同的输入范围是-1,1。这似乎是一个与在普通的深度学习架构中实现神经网络有关的问题,而不是深度学习体系结构的理论(虽然从技术上讲,1层前馈神经网络不是“深度”)。虽然理论网络可以学习任意精度的映射,但在实际应用中,权重和偏差用有限的精度表示,因此在本质上限制了可以可靠预测的数量的位数。上述数字有足够的显着性数字,它们接近双精度浮点表示的极限,超过了单精度浮标的极限。因此,模型偏差中的大多数“可用精度”都被浪费了,即指定第一个重要数字,即平均值(几乎所有数据之间共享),如果偏差不能完全捕获平均分布,那么一些权重的“可用精度”是浪费的,试图捕获不被偏差参数捕获的均值的残差。这不太可能带来好的表现。

通过规范化,您可以使偏差拟合任务更加容易(偏差接近于0,并且浮点参数的“可用精度”至少可以用于对数据进行有意义的拟合)。我怀疑,通过将模型权重从估计均值残差的任务中解放出来,而不是通过偏差参数估计,解决偏差问题会提高性能。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72216077

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档