当我读到“用于句子分类的卷积神经网络”时,我注意到该论文实现了“CNN-非静态”模型--一个使用来自word2vec的预训练向量的模型,所有的单词--包括随机初始化的未知单词,和预训练向量对每个任务都进行了微调。所以我只是不明白预先训练好的向量是如何对每个任务进行微调的。因为据我所知,输入向量是由word2vec.bin(预训练)从字符串转换而来的,就像图像矩阵一样,在训练CNN过程中不能改变。所以,如果可以的话,怎么做?请帮我一下,提前谢谢!
发布于 2016-10-18 03:01:43
嵌入词是神经网络的权重,因此可以在反向传播过程中进行更新。
例如http://sebastianruder.com/word-embeddings-1/:
自然,每一个前馈神经网络都将词汇中的单词作为输入,并将它们作为向量嵌入到一个较低维的空间中,然后通过反向传播对其进行微调,必然会产生单词嵌入作为第一层的权重,这通常被称为嵌入层。
https://stackoverflow.com/questions/40098450
复制相似问题