深度神经网络的编码不变性

Question

我有一组数据，2D矩阵(就像灰色图片)。并使用CNN作为分类器。想知道，如果我们改变传统编码的编码，是否有任何关于准确性影响的研究/经验。

我想是的，问题是哪一种编码变换使精度不变，哪一种变坏.

为了澄清，这主要涉及原始数据到输入数据的量化过程。

编辑：

将原始数据量化为输入数据已经是对数据的预处理，添加或删除某些特性(甚至是次要功能)。对于这一量子化过程对实际计算的影响，目前尚不十分清楚。也许，有一些研究成果。

Answer 1

我不知道有任何专门处理输入数据量化的研究，但是您可能需要查看一些有关CNN参数量化的相关工作：http://arxiv.org/pdf/1512.06473v2.pdf。根据你的最终目标是什么，"Q-CNN“的方法可能对你有用。

我自己对CNN的输入数据使用各种量化的经验是，量化的程度和模型本身有很大的相关性。例如，我一直在使用各种插值方法来缩小图像大小和减少调色板大小，最后，我发现每个变体都需要对超参数进行不同的调优才能达到最佳效果。一般情况下，我发现对数据的轻微量化影响可以忽略不计，但曲线中有一个膝盖，其中丢弃额外的信息会极大地影响可实现的准确性。不幸的是，我不知道在没有实验的情况下，量化的程度是最优的，即使是决定什么是最优的，也需要在效率和准确性之间进行权衡，而这并不一定是一刀切的答案。

从理论上讲，请记住CNN需要能够找到有用的、空间上的局部特征，因此可能有理由假定任何破坏输入的基本“结构”的编码都会对可实现的准确性产生显著的有害影响。

Answer 2

在通常的实践中--一个经典实现中的离散分类任务--它不会产生任何影响。然而，临界点是在反向传播的初始计算中.经典的定义只依赖于预测和“基本真理”类的严格平等:一个简单的对错评估。更改类编码对预测是否等于培训类没有影响。

但是，这一功能可以改变。如果您将代码更改为除对错评分之外的其他内容，这取决于编码选择，那么编码更改肯定会产生效果。例如，如果你将电影评级为1-5级，你很可能希望1vs5比4vs5造成更高的损失。

这能合理地解决你的担忧吗？

我现在明白了。我上面的答案很有用..。但不是因为你的要求。我关注的是分类编码；你在想输入的问题。

请注意，询问场外资源是一个典型的非主题问题类别。我不知道有任何这样的研究--因为这些研究的价值太小了。

显然，应该有一些效果，因为您正在更改输入数据。其效果将取决于特定的量化转换以及单个应用程序。

我从一般的大数据分析中得到了一些有限的观察结果。

在我们的典型环境中，数据在其自然空间(F维数，F是特征数)中散乱，我们通常使用两个简单的量化步骤：(1)将所有特征值缩放到一个方便的整数范围，如0-100；(2)识别自然微聚类，并根据聚类的质心表示所有聚类值(通常不超过输入值的1% )。

这在一定程度上加快了分析处理的速度。对于细粒度的聚类，对分类输出的影响很小.事实上，由于聚类在数据点之间提供了更大的差距，有时它可以细微地提高精度。

这并不是我们努力的主旨。