如何添加已知的单词标记器keras python？

Question

我想用印尼语把文字转换成序列。但是keras标记器只检测到已知的单词。

如何在角星中添加已知的单词？或者有什么解决方案让我把文字转换成序列？

from keras.preprocessing.text import Tokenizer
tokenizer = Tokenizer(num_words=n_most_common_words, filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', lower=True)
tokenizer.fit_on_texts(concated['TITLE'].values)
txt = ["bisnis di indonesia sangat maju"]
seq = list(tokenizer.texts_to_sequences_generator(txt))

如果我使用印尼语，"seq“变量就会产生空数组，如果我使用英语单词，它的工作就会非常完美。如何在不同语言中使用角语？还是给角星加上一些已知的词？

谢谢

Answer 1

凯拉斯不懂任何语言或单词。使用fit_on_texts或fit_on_sequences方法创建词汇表。

我想您是在fit对一些英文文本(即concated['TITLE'].values)进行标记。因此，内部词汇只包含英语单词(而不包含印度尼西亚语单词)。这解释了为什么如果seq只包含非英语单词，那么txt将是空的。

此外，您还可以查看 class。