用于OCR的场景文本图像超分辨率

Question

我正在研制OCR系统。我在识别ROI中的文本时面临的一个挑战是由于抖动、或运动效果镜头或文本，即由于角度位置，不聚焦。请考虑以下示例

​

​

如果你注意到(前)的短信。在这种情况下，OCR系统无法正确识别文本。但是，如果图像太模糊，以致OCR系统无法识别或部分识别文本，则该场景也可以不加角度拍摄。有时是模糊，有时是非常、低分辨率或像素化。例如

​

​

我们尝试过的方法

首先，我们尝试了各种可用的方法。但不幸的是没有运气。

• 利用Tesseract提高图像质量从图像中提取文本
• 如何提高图像质量？[封闭]
• Opencv中图像质量的改进

接下来，我们尝试了以下三种最有前途的方法：

1.1.TSRN

最近的一项研究工作(TSRN)主要集中在此类案例上。它的主要直觉是引入super-resolution (SR)技术作为预处理.到目前为止，这个实现看起来是最有希望的。但是，它无法在我们的自定义数据集上执行魔法(例如上面的第二个图像，蓝色文本)。下面是他们演示的一些例子：

​

​

2.神经增强

在看了它在它的页面上的插图之后，我们相信它可能会成功。但遗憾的是，它也无法解决这个问题。然而，我有点困惑，即使他们展示的例子，因为我不能复制他们也。我提出了一个github问题，在这里我更详细地演示了这一点。下面是他们演示的一些例子：

​

​

3. ISR

最后一种选择与这实现的希望最小。也没什么运气。

更新1

• 方法:除了上述方法外，我们还尝试了一些传统的方法，如离焦消模糊滤波器 (Wiener滤波器和无监督Weiner滤波器)。我们还检查了理查森-露西方法。但这种方法也没有任何改进。
• 方法:我们检测了一种GAN基DeBlur溶液。DeblurGAN我试过这个网络。吸引我的是盲运动去模糊机制的方法。

最后，从这个讨论中，我们遇到了看起来非常好的本研究工作。还没试过这个。

​

​

更新2

1. 方法：实世界超分辨核估计和噪声注入尝试了这一方法.很有希望。然而，在我们的案子中没有起作用。代码。
2. 方法：照片恢复与上述方法相比，在超文本解析度方面表现最好。它极大地消除了噪声、模糊等，使图像更加清晰，增强了模型的泛化能力。代码。

我的疑问

是否有有效的解决办法来处理这类案件？有任何方法可以改善这样的，模糊，或像素，无论文本是在前面或远离，因为相机的角度？

Answer 1

目前，有一个解决方案真实世界超分辨率通过核估计和噪声注入.提出了一种退化框架RealSR，它为超分辨率学习提供了逼真的图像.这是一种很有前途的方法，可用于抖动或运动效果图像的超分辨率。

该方法分为两个阶段。超分辨率的第一阶段真实感退化

从真实数据中估计退化，并生成真实的LR图像。

第二阶段超分辨率模型

是基于建立的数据对SR模型进行训练。

您可以看看这篇Github的文章：https://github.com/jixiaozhong/RealSR

Answer 2

我也一直致力于这个超分辨率领域，并发现了一些有希望的结果，但还没有尝试，第一篇论文 (车牌基文本)，他们首先实现图像增强，然后在后期做超分辨率。本文中的第二篇论文和github都是用文本来引导超分辨率网络的。