TFIDF计算混淆

Question

我在互联网上找到了计算TF国防军的下列代码：

https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py

我在函数def下手(word，documentList)中添加了"1+“，这样就不会被0错误除以：

return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList))))

但我困惑于两件事：

1. 在某些情况下，我得到了负值，这是对的吗？
2. 我对第62、63和64行感到困惑。

代码：

 documentNumber = 0
  for word in documentList[documentNumber].split(None):
       words[word] = tfidf(word,documentList[documentNumber],documentList)

是否应仅根据第一份文件计算过渡联邦国防军？

Answer 1

1. 不是的。tf-国防军是tf，一个非负值，乘以下手，一个非负值，所以它永远不会是负值.这段代码似乎实现了多年来一直在维基百科上的erroneous definition of tf-idf (同时也是fixed )。

Answer 2

如果所讨论的单词包含在集合中的每个文档中，则1+更改将导致负值。0 < (x / (1 + x)) <1适用于所有x>0。结果是负对数。

在我看来，一个不存在的单词的正确IDF是无限的或未定义的，但是通过在分母和名称中添加1+，一个不存在的单词将有一个IDF略高于任何现有的单词，而在每个文档中存在的单词将有一个IDF为零。这两种情况都可能与您的代码很好地配合。