模型超参数和模型参数有什么区别？

Question

我注意到，像模型超参数和模型参数这样的术语已经在网上交替使用了，而没有事先澄清。我认为这是不正确的，需要解释。考虑一个机器学习模型，一个基于SVM/NN/NB的分类器或图像识别器，仅仅是首先想到的任何东西。

模型的超参数和参数是什么？

请举你的例子。

Answer 1

超参数和参数经常被交替使用，但它们之间有区别。如果不能直接在估计器中学习，您可以将其称为“超参数”。然而，“参数”是一个更普遍的术语。当您说“将参数传递给模型”时，通常意味着超参数与其他一些参数的组合，这些参数与您的估计器没有直接关系，但对您的模型是必需的。

例如，假设您要在sklearn中构建一个SVM分类器：

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]
clf = svm.SVC(C =0.01, kernel ='rbf', random_state=33)
clf.fit(X, y) 

在上面的代码中，支持向量机的一个实例是您对模型的估计器，在这种情况下，超参数是C和kernel。但是，您的模型有另一个不是超参数的参数，即random_state。

Answer 2

除了上面的答案。

模型参数是分类器或其他ml模型在训练过程中学习到的训练数据的性质。例如，对于某些NLP任务:单词频率、句子长度、名词或动词每个句子的分布、每个单词的特定字符数n-克、词汇多样性等。每个实验的模型参数各不相同，取决于手头数据和任务的类型。

另一方面，模型超参数在相似的模型中是常见的，在训练过程中不能学习，而是预先设置。神经网络的一组典型的超参数包括隐层的数目和大小、权值初始化方案、学习速率及其衰减、丢失和梯度裁剪阈值等。

Answer 3

超参数是我们提供给模型的参数，例如:神经网络中的隐节点和层数、输入特征、学习率、激活函数等，而参数是机器可以学习的参数，比如权重和偏差。