在Keras示例中使用字符串作为输入

Question

我在看Keras IMDB电影回顾情感分类示例 (和相应的github模型)，它学会了判断一个评论是正面的还是负面的。

数据已经被预处理，以至于每个评论都被编码成一个整数序列，例如评论“这个电影太棒了！”将是[11, 17, 6, 1187]，对于这个输入，模型给出输出“正”。

数据集还提供用于编码序列的单词索引，即我知道地图。

This: 11
movie: 17
is: 6
awesome: 1187
...

我是否可以将这些知识包含到模型中，以便它的输入是一个字符串，也就是说，它根据输入“这个电影太棒了！”给出了一个预测？

Answer 1

首先，神经网络的输入绝不是字符串，它正是词汇表中单词(或字符)的列表。模型通常做的第一件事是嵌入转换(参见例句)，它进一步将这些索引转换为(可训练的)浮点向量。

您真正的意思是数据预处理步骤，它将用户的原始输入(可以是文本、图像像素、声音记录等)转换为适合于模型的格式。数据预处理和模型本身一样，是机器学习应用程序的重要组成部分，应该单独存储。如果您打算使用imdb数据集，则已对词汇表进行预处理。您可以在keras中调用imdb.get_word_index()来获取单词索引，也可以直接使用词汇表json文件。