我通过转换模型生成文本,我正在寻找一种测量语法文本质量的方法。和文本一样:"Today is a good day. I slept well and got up good in the morning."的评级应该高于:"Yesterday I went into bed and. got Breakfast son."
有没有模型,可以做我以前找不到的工作,或者有没有其他方法来衡量文本的语法输出的质量?
我发现,空间性可以选择显示一个文本是否有语法错误,但我更感兴趣的是一个分数,其中包括文本的长度和错误的数量。我还研究了NLTK的可读性,但这是为了了解文本的可读性,这不仅仅取决于语法。
谢谢!
发布于 2020-10-05 08:10:27
所以我找到了我要找的东西:在这个纸中,研究人员测试了他们在没有引用的情况下检查语法错误的能力(GLEU分数可以用来做什么)。他们还测试了python语言工具,这也是用于在开放办公的拼写检查。这个工具能够测量一篇文章中语法错误的数量。为了我的目的,我将把错误的数量除以文本中的单词数量,这给了我一个错误度量。
也许这对有同样问题的人有帮助。这里是基于pypi的示例代码:
import language_tool_python
tool = language_tool_python.LanguageTool('en-US')
text = "this is a test tsentence, to check if all erors are found"
matches = tool.check(text)
len(matches)
>>>3https://stackoverflow.com/questions/64203895
复制相似问题