在机器学习中设置不可训练的参数可以吗？

Question

在建立机器学习模型时，有不可训练的参数可以吗？或者这会在模型中产生错误吗？我搞不懂什么是不可训练的参数，以及如何在此基础上修正模型。

Answer 1

编辑：，如enumaris在评论中提到的，问题可能是指Keras中的不可训练参数，而不是一般不可训练的参数(超参数)。

answer to this question描述了Keras中不可训练的参数.

.不可训练的模型参数是那些在训练期间你不会更新和优化的参数，这些参数必须预先定义，或者作为输入传递。

这类参数的示例是：

1. 隐藏层数
2. 每个隐藏层上的节点
3. 每个单独层上的节点 和其他人

这些参数是“不可训练的”，因为您无法用您的培训数据来优化它的值。

来回答您的问题：

有不可训练的对讲机可以吗？

是的，它是好的，事实上，如果你正在建立一个NN或其他机器学习模型，这是不可避免的。

这会在模型中产生错误吗？

默认情况下不会产生错误，它决定了神经网络的体系结构。

但是，有些体系结构对数据和任务的性能会比其他体系结构更好。

因此，如果您将选择次优不可训练的参数，您可以并且将不适合您的数据。

优化不可训练的参数是另一个很广泛的话题.

对一般机器学习理论的回答：

非训练参数(不是专门针对Keras的)称为hyperparameters.。

他们的目的是让根据您的的具体需求来调整算法。

例如，，，如果您正在训练一个简单的Logistic Regression，那么您有一个参数C，它表示regularization，它基本上影响了您对错误答案的算法的“惩罚”程度。

您可能想要惩罚您的算法很难推广更多(但您也可以underfit )，或者您可能不想惩罚过高的错误(这也可能导致overfitting)

这是无法从数据中学到的东西--您可以根据您的特殊需要进行调整。

Answer 2

通常，不可训练的参数并不意味着分配随机或预定义值的一些权重(因为它们依赖于其他的权重值，因此无法知道正确的值)。

这意味着一些你事先做过的建筑决策。例如，在神经网络中，这些参数将是每层的层数和节点数。这些都可以通过有根据的猜测来决定，或者，通常是通过反复试验(交叉验证)来决定。

在大多数训练算法中，拥有这样的不可训练参数不仅是可以的，而且是不可避免的.