我想要构建一个包含多个单词结构的单词云(而不仅仅是一个单词)。在任何给定的文本,我们将有更大的频率为单位克比大写。实际上,对于同一文本,n克频率随n增加而减小.
我想要找到一个幻数或一个方法,以获得比较结果之间的一元图,三格,n-克。
中有任何幻数作为n克频率的乘数,以便与一公克相提并论。
我现在想到的一个解决方案是为任意n克(1,2,3,.)做一个顶。并使用第一个z位置对任意类别的n-克。
发布于 2019-08-13 17:19:13
正如你已经问过的,没有简单的线性乘子。你可以根据你的一套单位的大小来做一个一般的估计。考虑26个字母的英文字母:你有26种可能的单字,26^2度,26^3度,……简单的处理方法表明,你会将一个digram的频率乘以26,并将其与unigram进行比较;三克频率将得到26^2的提升。
我不知道这是否达到了你想要的比较,因为n克的实际分布并不是根据任何数学上可处理的函数。例如,字母-三字母分布是区分使用中语言的一个很好的方法:英语、法语、西班牙语、德语、罗马尼亚语等都有很好的差别化分布。
另一种可能是将数据规范化:将每个值转换为z-得分,即高于/低于分布平均值的标准差的数量。得到的z分数列表的平均值为0,分节为1.0。
这些都能给你带来你想要的结果吗?
https://stackoverflow.com/questions/57482331
复制相似问题