Sklearn TFIDF向量器线程安全吗？

Question

我已经构建了一个TfidfVectorizer，并将其与我的数据集相匹配

tfidf = TfidfVectorizer(tokenizer=ner_tokenizer, stop_words='english')
tfidf.fit(documents)

我现在想在多线程中执行tfidf.transform()。这样做安全吗？

Answer 1

据我所知，transform只读取self，而不修改它，所以它应该是线程安全的。

transform()调用TfidfTransformer.transform()、CountVectorizer.transform()、check_is_fitted()，并间接调用CountVectorizer._validate_vocabulary()、CountVectorizer._check_vocabulary()、CountVectorizer._count_vocab()和normalize()，以及更深层次的、不需要修改的调用。可能还有一些魔法在发生，但我什么也找不到。