两个语料的Tf-Idf计算

Question

我有两个语料库(语料库1和语料库2)，语料库1中的文档包含从语料库2中抄袭的句子。我正在使用Tf-Idf方法来衡量语料库1中的文档与语料库2中的文档之间的相似度。

已经为语料库2中的术语建立了倒排索引，如下所示：

​

简而言之，对于每两个句子的比较，我建立了两个Tf-Idf向量，然后使用余弦相似度来度量相似度。

我的问题是，在建立与语料库1的句子相关的向量的过程中，我使用语料库2的索引，通过汇总与X术语相关的文档来获得Idf，这是正确的方式吗!？由于语料库1中的一些术语在语料库2中不可用，Tf-idf函数将为这些术语返回0！或者我必须为语料库1建立另一个索引(在我看来，这将消除Tf-idf的能力)。

Answer 1

我们必须索引目标语料库，以完成我们的工作，例如:如果我们有2个语料库，原始语料库和抄袭语料库。我们必须索引原来的一个，因为我们需要通过搜索。