首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在训练CNN时,输入word2vec是如何微调的?

在训练CNN时,输入word2vec是如何微调的?
EN

Stack Overflow用户
提问于 2016-10-18 02:12:59
回答 1查看 1.2K关注 0票数 1

当我读到“用于句子分类的卷积神经网络”时,我注意到该论文实现了“CNN-非静态”模型--一个使用来自word2vec的预训练向量的模型,所有的单词--包括随机初始化的未知单词,和预训练向量对每个任务都进行了微调。所以我只是不明白预先训练好的向量是如何对每个任务进行微调的。因为据我所知,输入向量是由word2vec.bin(预训练)从字符串转换而来的,就像图像矩阵一样,在训练CNN过程中不能改变。所以,如果可以的话,怎么做?请帮我一下,提前谢谢!

EN

回答 1

Stack Overflow用户

发布于 2016-10-18 03:01:43

嵌入词是神经网络的权重,因此可以在反向传播过程中进行更新。

例如http://sebastianruder.com/word-embeddings-1/

自然,每一个前馈神经网络都将词汇中的单词作为输入,并将它们作为向量嵌入到一个较低维的空间中,然后通过反向传播对其进行微调,必然会产生单词嵌入作为第一层的权重,这通常被称为嵌入层。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/40098450

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档