首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我应该使用tfidf语料库还是只使用语料库来推断使用LDA的文档?

问我应该使用tfidf语料库还是只使用语料库来推断使用LDA的文档?
EN

Stack Overflow用户
提问于 2014-11-26 19:14:04
回答 1查看 2.1K关注 0票数 5

我只是想知道当我们在gensim中使用LDA的推理文档时,是使用TFIDF语料库还是仅使用语料库

下面是一个例子

代码语言:javascript
复制
from gensim import corpora, models
import numpy.random
numpy.random.seed(10)

doc0 = [(0, 1), (1, 1)]
doc1 = [(0,1)] 
doc2 = [(0, 1), (1, 1)]
doc3 = [(0, 3), (1, 1)]

corpus = [doc0,doc1,doc2,doc3]
dictionary = corpora.Dictionary(corpus)

tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
corpus_tfidf.save('x.corpus_tfidf')

corpus_tfidf = corpora.MmCorpus.load('x.corpus_tfidf')

lda = models.ldamodel.LdaModel(corpus_tfidf, id2word=dictionary, num_topics=2)

#which one i should use from this   
**corpus_lda = lda[corpus]**          #this one 
**corpus_LDA = lda[corpus_tfidf ]**   #or this one?


corpus_lda.save('x.corpus_lda')

for i,j in enumerate(corpus_lda):
    print j, corpus[i]
EN

回答 1

Stack Overflow用户

发布于 2014-12-03 08:30:08

根据Gensim's mailing list (特别是上一篇)的说法,标准的程序是使用一袋单词语料库。您可以使用TF-IDF语料库,但似乎不清楚这会产生什么样的影响。

票数 6
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/27147690

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档