我使用了路透社21578数据集的一部分,而mahout更具体地说,我只提取了对类别“主题”具有独特价值的文本,因此我只剩下了属于66个类别中的一个的9494个文本。我使用seq目录从文本创建序列文件,然后使用seq2sparse来缓存向量。然后,我使用余弦距离度量运行k-均值(我也尝试过tanimoto和欧几里得,没有更好的运气),cd=0.1和k=66 (与类别数相同)。因此,我尝试使用自定义的轮廓测度代码和剪影的matlab实现来评估结果(只是为了确保我的代码中没有错误),并且我得到集群的平均轮廓是0.0405。知道最好的聚类可以给出接近1的平均轮廓值,我看到我得到的聚类结果一点也不好。那么,这是由于Mahout的原因,还是路透社数据集上的猫化质量很低?
PS:我正在使用Mahout 0.7
PS2:对不起,我的英语很差。
发布于 2013-02-19 01:08:50
我从来没有实际使用过Mahout,所以我不能说默认情况下它会做什么,但是您可以考虑检查它在默认情况下使用什么样的距离度量。例如,如果度量是非规范化文档字计数上的欧几里德距离,那么您可以期望非常低质量的集群质量,因为文档长度将主导文档之间的任何有意义的比较。另一方面,像归一化上的余弦距离,或者tf-国防军加权字数可以做得更好。
另一件值得关注的事情是路透社21578中的主题分布。它非常倾向于一些主题,如"acq“或”赚取“,而其他则只使用了大量的时间。这很难实现良好的外部聚类度量。
https://stackoverflow.com/questions/12228740
复制相似问题