如何在使用tf.keras.preprocessing.text.tokenizer时设置min_frequency，并忽略小于min_frequency的单词？

Question

有没有办法像tf.contrib.learn.preprocessing.VocabularyProcessor?中的'min_frequency‘一样，在tf.keras.preprocessing.text.tokenizer中设置'min_frequency’

Answer 1

num_words实际上有助于做同样的事情，这里num_words将获取频率最高的num_words单词。

因此，您在tf.contrib.learn.preprocessing.VocabularyProcessor中从min_frequency获得的功能您可以获得相同的功能，但不是以相同的方式获得。