是否有任何好的NLP或统计技术来检测OCR编辑的文本中的混淆字符?在我的头顶上,我在想,看n克在文本中的分布可能是一个很好的起点,但我对整个NLP域还很陌生。
以下是我到目前为止所看到的:
这篇文章大部分是用英语写的,但一般的解决办法会很好。文本目前是用Lucene索引的,所以任何关于基于术语的方法的想法都是有用的。
任何建议都会很好!谢谢!
发布于 2011-06-17 07:13:52
是的,在这种情况下最有力的东西是Ngram。您应该在相关的文本语料库上收集它们(主题与OCR文本相同)。这个问题与拼写检查非常相似--如果小的字符变化会导致大概率的增加,那就是一个错误。检查本教程如何使用ngram进行拼写检查。
发布于 2011-06-17 12:32:29
我几年前就用过n克了,结果很不错。我使用了Apache Nutch的语言检测器,它使用word和intraword n克internally.Then,您的文本的“ngram配置文件”与培训材料的ngram配置文件进行了比较。除了语言之外,Nutch给出了一个分数/信心值,我使用了基于语言的硬手铐(应该是文档所使用的语言)和分数。保留了大部分乱七八糟的文本,但这在计算上有点昂贵。
https://stackoverflow.com/questions/6381825
复制相似问题