识别屏幕截图中出现的所有图像列表(在图像中查找图像)

Question

我想识别屏幕截图中出现的所有图片列表，并得到表情符号的标签(例如“微笑”)。

图像列表包含所有表情符号(全表)：

…等

这是截图(显大)：

​

​

屏幕截图可以有不同的分辨率和不同的高度发生表情。

我的想法是：

• 使用OpenCV和各种过滤，并在其上迭代所有表情符号图像(可能使用模板匹配)
• 使用像tensorflow这样的神经网络，用表情符号训练你自己的模型

你会怎么做？

Answer 1

有几种经典的方法可以回答你的问题：

• 简单规则相关：https://en.wikipedia.org/wiki/Cross-correlation。当你有你想要的图像时，使用简单的相关性，而强度没有变化。
• 规范化相关(模板匹配背后的数学)：匹配。当你有你想要的图像时，使用简单的相关性，而强度没有变化。

如果你的截图和表情基图片之间有不同的强度，你应该使用标准化的相关。

这两种方法都将为您提供一个带有峰值的图像，并且您的表情符号将本地化在该图像的局部最大值处。因为你的表情符号可以是非常相似的，你将不得不在相关图像上使用一个阈值来区分你正在测试的表情符号和那些看起来很像他的表情符号。

这种方法很耗时，但通过使用图像金字塔可以很容易地加快速度。图像金字塔是一组图像，其中第一个是您的图像，第二个是对第一个图像的二次采样，其倍数为2，等等：(处理)。然后将关联应用于金字塔的顶层，找到一个近似位置，然后在顶部-1层，在接近点的位置，等等。

关于神经网络，或者其他你想尝试的机器学习方法，它们是非常沉重的解决方案，而且你有一个很简单的问题，所以你应该不需要它们。您有确切的图片，您正在寻找，没有旋转，变形或强度变化，和模板匹配应该是非常有效的。