在游戏截图中识别chatbox

Question

我有电脑游戏的视频。在这个电脑游戏中，在游戏中，有一个聊天室，玩家可以写消息。我想读一下这个chatbox的内容。

困难在于：

• chatbox的大小总是不同的，这取决于编写了多少。
• 有时根本没有chatbox，因为没有人写任何东西。
• 有时，chatbox被其他HUD窗口覆盖。
• 视频的一部分出现在菜单或桌面上。并不是所有的人都在比赛中。

起初，我想我会把这个问题分解成几个步骤。

1. 将视频分割成帧
2. 使用图像分类器来查看它是否是游戏屏幕。
3. 大致划出chatbox可能在的位置。
4. 用对象检测来检测聊天是在哪个区域，并像这样剪掉图片。所以图像中没有其他HUD元素。
5. 使用Tesseract进行实际文本检测。

但我觉得这很复杂。直接用目标检测做2,3,4会更好吗？所以就像这样：

1. 将视频分割成帧
2. 检测是否有聊天，如果有，在哪里
3. 裁剪
4. 文本识别

在给10.000张图片贴上标签之前，我想问一下什么是正确的方法。

非常感谢!

Answer 1

是的，这似乎是正确的一般方法，然而，我建议减少小块，以便非常有效。

首先，你应该确保最重要的功能，文本识别，工作良好:如果你做了良好的区域检测和良好的屏幕识别，但你没有良好的文本识别，你就会浪费时间。此外，总是有技巧，以获得正确的区域和正确的框架，但拥有可靠的文本识别更为复杂。

这就是为什么我会开始训练文本识别功能已经被剪掉的文本区域。目的是要取得很好的结果。Tesseract可能是这样做的最好的图书馆。然而，背景是一幅图像，因此检查文本识别是否正确是非常重要的。

除此之外，我建议从200张随机图片开始，而不是10,000张。通常，您可以在不需要处理整个数据的情况下，使用第一个小样本进行更正，从而发现许多错误。然后，您将逐步增加数量，因为总是有意想不到的特殊情况(例如:文本背景中包含文本的生命栏)。

应用对象检测来获取底部菜单坐标可能很有趣，因为文本位置可能与屏幕分辨率不同。但是，考虑窗口大小和将菜单底部的位置看作大小百分比甚至是很简单的。还要考虑各种用户设置(例如:删除底部菜单、更改背景透明度等)。