如何监控Gensim LDA模型的收敛性？

Question

我似乎找不到它，也可能找不到我对统计的知识，它的术语就是这里的问题，但我想要实现类似于来自PyPI的LDA库底部页面上的图表，并观察线条的一致性/收敛性。如何使用Gensim LDA实现这一目标？

Answer 1

您是正确的，希望绘制您的模型拟合的趋同。不幸的是，Gensim似乎并没有把这件事做得很直接。

1. 以这样的方式运行模型，您将能够分析模型拟合函数的输出。我喜欢设置一个日志文件。 导入日志记录(filename=‘gensim.log’，format="%(asctime)s:%(levelname)s:%(message)s"，level=logging.INFO)
2. 在eval_every中设置LdaModel参数。此值越低，您的绘图就会有更好的分辨率。然而，计算困惑会大大降低你的适应速度！lda_model= LdaModel(corpus=corpus，id2word=id2word，num_topics=30，eval_every=10，pass=40，iterations=5000)
3. 解析日志文件并绘制您的情节。 导入matplotlib.pyplot作为plt = re.compile("(-*\d+.\d+)每字.* (\d+.\d+)困惑“)匹配= p.findall(l) for l in open('gensim.log')匹配=m在匹配中，如果len(m) >0元组= [t t in matches]困惑= [float(t1) for t in tuple]Lili竟= [float(t) for t in tuple] iter = list(range(0，(Tuple)*10)) plt.plot(iter，象群)，C=“黑色”)plt.ylabel(“日志似然”)plt.xlabel(“迭代”)plt.title(“主题模型收敛”) plt.grid() plt.savefig("convergence_liklihood.pdf") plt.close()