作为网络输入的单词

Question

我想要建立神经网络，我的输入将是一个词(而不是一个句子)。我的词集有许多不同长度(字符数)的单词。我的想法是使用预定义字典将字符转换为数字，然后使用它作为输入。输入层中的神经元数集合为我的集合中最长单词中的若干个字符。向量越短，我就把它们填充到零。

我的一套词看起来：

1. head
2. hello
3. butterfly
4. hotel
5. fly
6. spy

因此，对于这个集合，我对netowrk的输入应该有9个神经元。当我转换'head‘时，我将得到4个数字和5个零的向量。

这是个好主意？或者你还有另外一个更好的想法，那就是这个网络的输入会是什么样子。

编辑：

我的任务描述在这里：词转换的ML模型：我想建立GAN作为一个答案。因此，这个词将是我的‘真正的词’，我想产生假词。

Answer 1

这里的方法很简单，就是把字母写得一清二楚。因此，您将有许多列的1和零。现在，这可能是nn的输入层。

Answer 2

虽然您的方法听起来合乎逻辑，但它与大多数基于语言的模型的创建方式有很大的不同。你真的需要告诉我们什么是你想要你的模型学习和能够预测，一旦你已经训练了它。为什么你对单词的长度感兴趣；输入层的神经元数量与你最长的单词中的字符数量相同，这有什么意义？这听起来像是某种性能优化。

由于我们通常对单词的意义感兴趣，所以已经发展出了编码意义的方法。有一些模型，如Word2Vec，它以文本为输入，以向量的形式为每个单词产生语义意义。请看这里的教程。

当我们把图像作为模型的输入时，我们通常对诸如“图片中的什么？”、“图片在哪里？”之类的东西感兴趣。“旁边是什么？”这意味着空间信息很重要。

文字向量和图像都是数字形式，可以传递到网络中。我们仍然需要知道我们希望我们的模型学习什么，以及我们想要优化什么；我们必须决定一个损失或错误的定义，因为这就是然后通过反向传播来训练模型的内容。