如何检查一个句子是否有可读性？

Question

我的目标是能够检测计算机生成的旋转内容。以下是一些旋转文本的示例：

“作为广告组织的一种时尚艺术，你将以你原有的技能和技术能力，协助拍卖客户的农作物和/或武装部队进入他们的目标市场。”

“真正的苹果iphone应用商店肯定是一个非常珍贵的有用应用程序的住所。”

基本上，计算机已经用不同的同义词取代了单词，试图使内容避免剽窃检测。我的目标是建立一个系统，可以检测到这些乱七八糟的文字。有什么办法可以做到这一点呢？

Answer 1

您想要做的是做一个ngram 语言模型。ngram语言模型是对语言中出现的词对的统计表示，用于机器翻译、情感分析和分类任务，例如预测电影评论是正的还是负的。您的分类任务将是每句话是否是旋转内容。

像朴素贝叶斯(在NLTK实施)这样的分类模型可以帮助你解决问题。在训练中，它建立了一个语言模型，然后使用该模型进行预测。为了训练模型，你将需要你的旋转内容的例子和一堆常规的英语文本。你拥有的越多越好！所有文档(您可以将每个句子视为文档)都应该被标记，以指示它们是否是旋转的内容。

这是一个英语语料库的列表，为您提供非旋转文本。

更复杂的模型可能工作得更好，你可以很容易地将它们并排比较。我喜欢用科学工具来学习这类东西。