将不同特征相结合的神经网络输入

Question

我使用两个不同的信息来源作为我的神经模型的输入。该模型以一个单词作为输入，生成二进制1/0输出。我用它的词嵌入(1024维向量)和它的价、唤醒和优势词汇(三维向量)来表示每个单词。我把它们连在一起，得到每个字的1027维向量。

我的问题是：

1. 在连接这些向量之前，我应该对它们进行规范化/预处理吗？我的字典值在0,1之间，而我的嵌入是根据上下文生成的ELMO嵌入。因此，我不确定嵌入的范围。
2. 如果是，应该在合并之前对其中一个进行预处理，我该怎么办？
3. 有什么好的资源可以回答我的问题吗？

Answer 1

您应该在一个可比较的范围内拥有您的所有功能。您可以将词汇表值保留在0，1范围内，但可以将嵌入规范化为具有大致相同的范围(例如，使用MinMaxScaler)。

Answer 2

因此，在这个问题中有许多问题需要回答。首先，我应该说，在将数据集输入网络之前，不需要对数据集进行规范化，因为如果数据集模型体系结构被正确定义，那么嵌入始终是规范化的。

在合并这些值之前，当然需要将这些值带到具有适当维度的固定范围。

我认为，为了更加肯定嵌入表示，您必须参考深层语境词表征和GloVe的原始论文。