矩阵TFIDF的降维

Question

我计算了TFIdf(词频，反向文档频率)，并且我已经看到，在这一步之后，有必要使用诸如LSI、chi -square test等方法来降低矩阵的维数。

我不知道如何在java中实现用于矩阵TFIDF降维的卡方测试，如果有一些库可以做这件事，或者有教程解释我如何做这件事，请告诉我

Answer 1

我不认为你想做卡方；这不是一种降维的技术。

你想做的是奇异值分解，即奇异值分解。这是LSI/LSA中用于降维的技术。

维基百科建议在Java中使用名为“S-Space Pacakage”的LSA库。我自己还没有用过它，但你可能会想要调查一下。

http://code.google.com/p/airhead-research/

Answer 2

将gensims库用于LSA、LDA。它实际上可以对任何大型数据集执行LSA。它不会一次将整个语料库加载到内存中，但会执行延迟读取。