手写签名验证

Question

我正在做一个签名验证项目。我使用了ICDAR 2011签名数据集((SigComp2011%29).Currently，i是对原始图像和伪造图像的编码进行配对以获得一个培训样本(标记为0)。编码来自预先训练的VGG-16卷积神经网络(除去完全连接的层)。然后，我修改了具有以下体系结构的完全连接层：

• 输入大小: 50177
• 第一隐藏层:1000个单位(激活："sigmoid"，Dropout : 0.5)
• 第二隐藏层:500个单位(激活:乙状结肠，Dropout : 0.2)
• 输出层:1单位(激活：“乙状结肠”)

问题是，尽管训练集的准确性提高了，但是验证精度波动很大，randomly.It在测试集上表现很差。

我尝试过不同的体系结构，但似乎什么都不起作用，那么还有其他方法来准备数据吗?还是应该继续尝试不同的体系结构？

Answer 1

我不认为使用VGG16模型为您的任务提取特性是正确的方法。您使用的是针对相对复杂的RGB图像进行训练的模型，而不是尝试将其用于基本上由边缘灰度图像(签名)组成的数据集。您使用的是最后一个嵌入层，它包含ImageNet数据集( VGG模型的原始训练数据集)最复杂和最专门的表示形式。

你得到的特性没有真正的意义，这可能就是为什么当你试图微调模型时，训练的准确性和验证的准确性根本不相关。

我的建议是要么使用VGG16的早期层进行特征提取(我指的是第5-6层附近的某个地方)，要么更好的是，使用一个更简单的模型，该模型是在更相似的dataset上训练的，比如MNIST数据集。

MNIST数据集由手写数字组成，因此它非常类似于您的任务，并且任何关于它的模型都将作为任务的更好的特征提取器。您可以从MNIST上的下列基准测试结果列表中选择任何模型，并将其用作特性提取器：

MNIST基准结果