首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >路透社21578数据集上mahout的不良聚类结果

问路透社21578数据集上mahout的不良聚类结果
EN

Stack Overflow用户
提问于 2012-09-01 14:50:45
回答 1查看 714关注 0票数 0

我使用了路透社21578数据集的一部分,而mahout更具体地说,我只提取了对类别“主题”具有独特价值的文本,因此我只剩下了属于66个类别中的一个的9494个文本。我使用seq目录从文本创建序列文件,然后使用seq2sparse来缓存向量。然后,我使用余弦距离度量运行k-均值(我也尝试过tanimoto和欧几里得,没有更好的运气),cd=0.1和k=66 (与类别数相同)。因此,我尝试使用自定义的轮廓测度代码和剪影的matlab实现来评估结果(只是为了确保我的代码中没有错误),并且我得到集群的平均轮廓是0.0405。知道最好的聚类可以给出接近1的平均轮廓值,我看到我得到的聚类结果一点也不好。那么,这是由于Mahout的原因,还是路透社数据集上的猫化质量很低?

PS:我正在使用Mahout 0.7

PS2:对不起,我的英语很差。

EN

回答 1

Stack Overflow用户

发布于 2013-02-19 01:08:50

我从来没有实际使用过Mahout,所以我不能说默认情况下它会做什么,但是您可以考虑检查它在默认情况下使用什么样的距离度量。例如,如果度量是非规范化文档字计数上的欧几里德距离,那么您可以期望非常低质量的集群质量,因为文档长度将主导文档之间的任何有意义的比较。另一方面,像归一化上的余弦距离,或者tf-国防军加权字数可以做得更好。

另一件值得关注的事情是路透社21578中的主题分布。它非常倾向于一些主题,如"acq“或”赚取“,而其他则只使用了大量的时间。这很难实现良好的外部聚类度量。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/12228740

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档