任务
假设神经网络存在以下问题。给定一个实数x,如果x等于a(即7.123456789),则输出1,否则输出0。
数据集
对于这个问题,我们构造了一个2000个样本的数据集,其中1000个样本等于a,另外1000个样本不同于a,随机抽样“足够远”和“足够远”,其中“足够远”由间隙(< 1)和稀疏(> 1)两个参数决定。每个样本都来自(a -间隙*稀疏,a-间隙)U (a +间隙,a+间隙*稀疏性)。换句话说,差距决定了重要小数的数目,稀疏决定了x的方差。
模型
具有ReLU激活的单个隐层的前馈网络(hidden_dim神经元)。具有标准参数的Adam优化器,1e-4学习率,2000年训练期,BCE损失。float64权值和float64输入张量。
结果
不幸的是,我没有足够的声誉嵌入图像..。
问题
从数据中可以看出,缩小差距,更难解决神经网络的问题(稀疏度固定在1e2)。对于小于1e-4的差距,它无法了解两者的区别。下面是10个样本的例子,以及1e-4间隙和1e2稀疏性的标签:
(array([[7.113817389875074 ],
[7.123456789123456 ],
[7.121479348058312 ],
[7.123456789123456 ],
[7.123456789123456 ],
[7.11874792046549 ],
[7.1248334895646215],
[7.123456789123456 ],
[7.131370982033207 ],
[7.118704508563716 ]]),
array([0., 1., 0., 1., 1., 0., 0., 1., 0., 0.]))对于这样的数据,我找不到任何文献或提示。有人能推荐一些吗?我认为性能可以通过一个非标准的权值初始化显着提高,但我感到惊讶的是,没有这方面的文献。此外,从数学角度看,精度根本不应该是一个问题(实数的密度)。
描述的任务是一个玩具问题,但我对它感兴趣,因为我有高精度的光谱测量。
发布于 2022-05-12 13:26:10
不清楚这样的方法对你的实际问题是否有用,或者仅仅是玩具例子,但是你应该标准化你的数据,使预期输入的范围在一个有意义的范围内(一个共同的输入范围是-1,1。这似乎是一个与在普通的深度学习架构中实现神经网络有关的问题,而不是深度学习体系结构的理论(虽然从技术上讲,1层前馈神经网络不是“深度”)。虽然理论网络可以学习任意精度的映射,但在实际应用中,权重和偏差用有限的精度表示,因此在本质上限制了可以可靠预测的数量的位数。上述数字有足够的显着性数字,它们接近双精度浮点表示的极限,超过了单精度浮标的极限。因此,模型偏差中的大多数“可用精度”都被浪费了,即指定第一个重要数字,即平均值(几乎所有数据之间共享),如果偏差不能完全捕获平均分布,那么一些权重的“可用精度”是浪费的,试图捕获不被偏差参数捕获的均值的残差。这不太可能带来好的表现。
通过规范化,您可以使偏差拟合任务更加容易(偏差接近于0,并且浮点参数的“可用精度”至少可以用于对数据进行有意义的拟合)。我怀疑,通过将模型权重从估计均值残差的任务中解放出来,而不是通过偏差参数估计,解决偏差问题会提高性能。
https://stackoverflow.com/questions/72216077
复制相似问题