句子归一化

Question

我正在运行一个允许用户发表评论的网站，他们中的大多数人都没有受过良好的教育，不能使用适当的标点符号、大写等等。

我正在寻找某种函数，它将接收他们的垃圾文本，并使它看起来很漂亮。

例如：

• 以前:这是个测试。我喜欢派
• 之后:这是一个测试。我喜欢派。

​

• 之前:盖帽锁是巡航控制的酷。
• 后:盖帽锁是巡航控制凉爽。

sentenceNormalizer是我唯一发现的东西，但它太简单了。它使所有不跟随的东西。！？无论是"I"，一个人的名字，实际上是故意利用的，还是其他任何东西，都要用小写字母。

Answer 1

全称识别人的名字肯定是一项艰巨的任务。奥普拉需要巡航控制..。游轮还是游轮？

根据您网站的使用条件，您可能无法拥有这些注释，从而阻止您编辑它们。

每个人有时都需要一个完整的大写来表达自己的观点，而不必学习另一个系统来插入(斜体，粗体)样式。

让他们的评论在他们的脚下编辑可能会激怒一些人，这可能会使他们远离你的网站。你想要那个吗？

频繁的用户会发现一些技巧(正确的拼写，间距，不要太多的大写.)。

这是一个有趣的项目，它可能涉及充分理解评论的意义，但我不确定这是一个好主意。