在机器学习的语境中，“规范化”与“规范”的关系是什么？

Question

“规范化”和“规范”在机器学习中有着广泛的应用。

在统计的统计和应用中，归一化可以有一系列的含义。

在最简单的情况下，收视率的归一化意味着将在不同尺度上测量的值调整到一个名义上通用的标度，通常是在平均之前。在更复杂的情况下，规范化可能指的是更复杂的调整，目的是使调整后的值的整个概率分布对齐。在教育评估成绩正常化的情况下，可能打算使分布与正态分布相一致。对概率分布进行归一化的另一种方法是分位数归一化，即使不同测度的分位数对齐。

在线性代数、泛函分析和数学的相关领域中，规范

是一个函数，它为向量空间中的每个向量分配严格的正长度或大小--除了零向量，零向量被指定为零。另一方面，半空间允许将零长度分配给一些非零向量(除零向量外)。范数还必须满足与可伸缩性和可加性有关的某些属性，这些属性在下面的正式定义中给出。

在机器学习的语境中，“规范化”与“规范”的关系是什么？

Answer 1

在深度学习的背景下，归一化通常是指将均值减去并除以标准差：

\hat{x_i}=\frac{x_i - \mu}{\sigma}

这种归一化与向量的范数无关。相反，它指的是您所提到的旨在重新标度值的统计概念。在统计上下文中，这种方法有时被称为随机变量的“标准化”，这使得它的平均0和标准偏差1，假设原始变量遵循正态分布。

深度学习中存在多种类型的归一化，这取决于我们规范了什么。最常用的方法是实例规范化、批处理规范化和层规范化。下面的图片以图形形式解释了这些问题，该图片是从群归一化文章中借用的：

每个子图显示一个特征映射张量，N为批处理轴，C为通道轴，(H，W)为空间轴。用相同的均值和方差对蓝色像素进行归一化，通过聚合这些像素的值来计算。

每种类型的标准化都有不同的目的，其中一些已经展示了它们的实际成功，但还不清楚它们为什么工作得很好。以下是主流正常化策略的一些权威参考：

• 批规范化：[Ioffe和Szegedy，2015年]，[Santurkar等人，2018年年]
• 实例规范化[Ulyanov等人，2016年]
• 层规范化：[Ba等人，2016年]

请注意，除了值规范化本身之外，还有一些规范化变体需要进一步处理。例如，对于批处理规范化，您需要存储\mu和\sigma，以便在推理时使用它们。

Answer 2

让我们以L2规范为例。

这个来自维基的图说明了“在一个直角三角形中，次音的平方是相等的，之和是另外两个边的正方形”。

给定a= 3，b= 4，然后c= 5。

把c当作向量，

c = \begin{bmatrix} 3 \\ 4 \\ \end{bmatrix}

C的L2范数是c= 5的长度(大小)。

若要规范向量c，将每个分量除以其范数5，则归一化向量=

\begin{bmatrix} 3/5 \\ 4/5 \\ \end{bmatrix}

这种处理称为规范化。