句子重要性得分和词频分布

Question

我正在使用stanford-nlp来分析新闻文章。

我需要计算单词频率分布来确定单词在文章中的重要性，这样我就可以根据单词重要性/频率计算句子重要性分数。

我已经在文章中使用HashMap计算了词频，但我想知道斯坦福-nlp中是否有执行单词重要性和句子重要性计算的东西？

关于这个主题，我能找到的就是这份文件：

https://nlp.stanford.edu/fsnlp/intro/fsnlp-slides-ch1.pdf

在斯坦福大学的CoreNLP中，有没有什么东西可以实现这个句子意义？

谢谢

Answer 1

不幸的是，斯坦福大学的CoreNLP中没有工具可以为您做这样的分析。

使用HashMap的实现似乎是一种可能的解决方案。我假设你统计了你正在分析的文章中每个单词的出现频率。我不知道你是如何计算重要性的，但你可能想要确定多词项并计算它们的频率。有一篇关于寻找这样的多字词的很好的论文，你可以在here上找到它。