keras LSTM的文本数据预处理

Question

这里引用keras文档中给出的示例：https://github.com/fchollet/keras/blob/master/examples/imdb_bidirectional_lstm.py

我想使用我自己的数据集，而不是IMDB。在检查了默认数据集的格式之后，我看到句子中的每个单词都被它的词汇表索引替换，词汇表索引按降序排序。

我在这里的keras文档中寻找一种可以实现这一点的方法，但它们似乎都不适用于我。

我一直在尝试

Tokenizer.fit_on_texts和Tokenizer.fit_on_sequences方法。

适合文本返回一个

AttributeError: 'float' object has no attribute 'lower'

错误。

我的输入是一系列pandas文本。

有人能指出我哪里做错了吗？我看过下面的帖子，但它没有帮助。

Keras - Text Classification - LSTM - How to input text?

谢谢!

Answer 1

发现错误时，其中一个文本是NaN，这会导致令牌器中断。把这个留在这里，以防对任何人都有帮助:)