批归一化

Question

为什么批归一化处理相同特性的不同样本而不是同一样本的不同特性？不应该是不同特征的标准化吗？在图中，为什么我们使用第一行而不是第一列？有人能帮我吗？

​

​

​

​

Answer 1

因为同一对象的不同特性意味着不同的东西，因此对这些值计算一些统计数据是不符合逻辑的。它们可能有不同的范围，平均值，性病等等。例如，你的一个特征可以表示一个人的年龄，另一个特征是一个人的身高。如果计算这些值的平均值，就不会得到任何有意义的数字。

在经典机器学习中(特别是在线性模型和KNN中)，您应该规范化您的特征(即在整个数据集中计算特定特征的平均值和std，并将您的特征转换为(X-均值(X)/ std(X) )。批规范化类似于这种应用于随机优化方法的方法，如SGD (在小型批处理上使用全局统计没有意义，而且您希望比第一层之前更多地使用批处理规范)。更多的原教旨主义思想可以在原纸中找到。