具有大或小语料库的Tf-idf

Question

“在大型语料库中使用Tf-Idf方法的一个本质是，使用的语料库越大，术语的唯一权重就越多。这是因为语料库中文档大小或文档长度的增加使得语料库中两个术语的权重值重复的概率较低。也就是说，Tf-Idf方案中的权重可以呈现权重的指纹。在小语料库中，Tf-Idf不能造成这种差异，因为有巨大的潜力找到具有相同权重的两个术语，因为它们在每个文档中以相同的频率共享相同的源文档。通过在抄袭检测领域中使用Tf-Idf加权方案，根据语料库的大小，该特征可以成为反对者和支持者。

这是我从tf-idf技术中推导出来的。是真的吗？

是否有任何链接或文档可以证明我的结论؟

Answer 1

经过4年的等待，我可以说答案是肯定的:)

这实际上可以简单地证明，如下图所示。我们有4个文档，下面是每个术语的TF和TFIDF表。

​

​

请参阅上表。

但是，当我们有一个包含大量文档的语料库时，我们不太可能找到在所有语料库中具有相同分布的两个术语。

注:我使用此网站计算Tf-Idf：https://remykarem.github.io/tfidf-demo/