使用stanford-nlp比较2个段落的算法

Question

我最近开始使用stanford-nlp API，对于给定的输入(段落)，它会对其进行解构并给出结果。

我的问题是如何使用它来比较两个不同的段落？

互联网上有没有我可以参考的有效算法？

任何关于如何实现这一点的建议都将不胜感激。

谢谢!

Answer 1

这是一个非常宽泛的问题。你说比较两个段落是什么意思？实际上，您可以使用字符串编辑距离函数来“比较”两个段落，而无需进行任何解析。请参阅：https://en.wikipedia.org/wiki/Edit_distance

更进一步，我使用了一种肤浅的方法，我只考虑了词性标签和单词，你可以在我的硕士论文中阅读更多内容，从第19页开始：http://josep.valls.name/wordpress/wp-content/uploads/2011/09/MCVAI-JosepVallsVargas-0905.pdf

如果您想要使用完整的语法或依存关系解析，您将需要深入研究世界图的相似性。点击此处阅读更多信息：https://en.wikipedia.org/wiki/Graph_theory

最后，短语识别社区的最新趋势之一是使用word2vec，这是一个由谷歌发布的计算单词嵌入的工具。你可能想通读一下这个SO问题的答案：How to calculate the sentence similarity using word2vec model of gensim with python