句子分析和标记的算法

Question

我需要对文档进行分析，并编制统计数据，说明每个单词序列使用了多少次(因此，分析的不是单个单词，而是一批重复出现的单词)。我读到压缩算法所做的事情与我想做的类似--用一段信息报告它的频率来创建文本块字典。应该类似于http://www.codeproject.com/KB/recipes/Patterns.aspx，您有用C#编写的东西吗？

Answer 1

这很容易实现。

1. 使用拆分( string类的成员函数)将字符串拆分为单词。(可以在codeproject url中使用分隔符)。
2. 一个for循环来枚举出所有的n-图，并使用Dictionary<string, int>来获得计数.