语言检测

Question

我使用tesseract进行光学字符识别，主要是在发票上。但是，tesseract需要在开始处理文件之前指定语言。

我想我将基于预定义的默认语言执行ocr。然后我想使用生成的文本来检查使用的是哪种语言。如果它不是默认语言，我会再次处理它，以便从tesseract获得更好的结果。

但是，如何实现语言检测算法呢？有没有我可以使用的C++库？

Answer 1

本文"Natural Language Identification for OCR Applications“描述了与您的需求类似的识别任务所涉及的技术。

Answer 2

我不确定这是否会有帮助，因为这个库是用Java编写的。但我发现它真的很酷，因为它能够从给定的文本中检测大约50种语言，并且具有相当好的精确度。你可能想看看它，因为它是开源的，如果你的应用程序只需要用C++编写，你可以用C++重写代码，并把它交还给开源社区。

下面是相同的链接：

http://code.google.com/p/language-detection/

注意:它使用Apache Nutch和Tika库进行分析。

Answer 3

你可能想读一读我的论文The WiLI benchmark dataset for written language identification，然后试试lidtk。

TL;DR:试一试CLD-2。