有随机权值的神经网络每次都会给出相同的预测率吗？

Question

对于一个输入，有随机权值，我的预测效率会改变吗？另外，我还没有考虑到网络中的偏差，这是否是效率较低的原因( 200例训练数据的预测率为93%，100例测试数据的预测率为90% )。我以学习率为0.005，错误阈值为0.005。我使用了反向传播算法)

Answer 1

如前所述:具有随机权重的网络是未经训练的网络。这是，如果它有一个很好的准确性与随机权重，只是偶然。

如果您认为中性网络，特别是反向传播是函数的优化过程

f(x) = mx +b

目标是为所有训练集找到最佳匹配线。

第一步是为m和b选择一个随机值，这条线在任意猜测下接近最优匹配的概率很小，即随机初始化。

反向传播的目的是通过将当前设置的误差传播回网络来确定m和b的最佳设置，并在找到可接受的设置之前对它们进行调整。调整采用梯度下降法，用梯度下降法求出误差面的最小值，误差面由所有训练样本的输出值与目标值之差产生。

如果这不是你所说的问题的意思，你会问初始随机权重对训练结果的影响：

这取决于您想要优化的函数。如果误差面是非凸的，在大多数情况下，则初始值定义梯度下降的起始点，从而影响训练结果。

把误差面想象成一个有几个山谷的山景。坡度下降的目标是到达这些山谷之一，在最好的情况下，是最深的，全球最小值。由于梯度下降通常会停留在最初发现的最小值(取决于学习速度和动量)，所以答案是否定的。找到的最小值取决于起始位置。所以，在不同的初始权重下，你通常会得到不同的精度。

最近我做了一些随机权值的实验。我的结果是，如果随机产生的数的方差太大，网络就永远不会收敛到适当的解。

Answer 2

如果你使用的是神经网络，那么你的预测效率(我宁愿称之为精确性)通常会降低。

我会用这种方式解释的。

神经网络对其权重和偏差进行训练，以获得给定输入集(训练数据)的期望输出。神经网络采用反向传播算法，在给定迭代次数(历元)的情况下，获得一组最优的权值。

当您在测试数据集上测试网络的预测精度时，您更倾向于经过训练的权重和偏差(从训练数据集上的神经网络中获得)，因为它们已经被训练以生成所需的结果(输出)。如果您在随机权重和偏差上测试网络的预测精度，则您的预测精度通常较低，并且可能在很大的范围内发生变化。

您可能会感到惊讶，在具有随机权重的测试数据集上，您的预测精度高于在训练数据集上训练的权重和偏差所预测的精度。尽管这是罕见的，但它可能会发生，在这种情况下，随机权重接近您的最佳权重为网络。

总之，最好是测试您的网络的训练权重和偏差，而不是随机权重。否则，机器学习算法的目的是什么？