图像中乱码/乱码字母的识别

Question

我对识别布格板上的字母很感兴趣，可能是使用openCV。字母都是相同的字体，但可以旋转，所以使用标准文本识别库有点问题。此外，M和W有下划线来区分它们，Q实际上是一个Qu。我相当有信心可以分离出图像中独立的字母，我只是想知道如何识别部分。

Answer 1

这取决于你需要多快。如果你能分离出字母的正方形，并旋转它，使包含该字母的正方形的边是水平和垂直的，那么我建议你：

• 将图像转换为黑/白(与字母的颜色和骰子的其余部分，另一个
• 使所有四个可能的方向(即直立和旋转90,180和270度)的所有字母的参考图像数据集)
• 使用一个模板匹配函数，如cvMatchTemplate，以找到最佳匹配的图像从您的数据集中的每一张新图像。

这将需要一些时间，所以优化是可能的，但我认为它会给你一个合理的结果。如果很难获得正确的方向，您还可以动态生成新输入的旋转版本，并将这些版本与参考数据集进行匹配。

如果字母具有不同的大小，那么我可以想到两个选项：

• 如果方向不是问题(即您的拼图块检测也可以将块放在正确的方向上)，那么您可以使用具有字母颜色的区域的边界框作为传入图片比例的粗略指示器，并将其缩放为与参考图像上的边界框相同的大小(对于每个参考图像，这可能是不同的)
• 如果方向有问题，则只需添加缩放作为搜索空间的一个参数。因此，您可以搜索所有的旋转(0-360度)和所有合理的大小(您应该能够从您拥有的图像中猜测出一个合理的范围)。

Answer 2

您可以使用简单的光学字符识别，如Tesseract。它使用起来很简单，而且速度很快。你必须做4个旋转(正如@jilles de wit's answer中提到的)。

Answer 3

我做了一个基于OpenCV的iOS应用程序来做这件事。它被称为SnapSolve。我写了一个关于检测如何工作的blog。基本上，我在每个形状上叠加所有26x4个可能的字母+旋转，看看哪个字母重叠最多。对此稍作调整是为了平滑覆盖图像，以消除字母几乎重叠但不完全重叠的伪影。