问tensorflow的seq2seq.embedding_attention_seq2seq中的“注意头”
EN

Stack Overflow用户

提问于 2016-06-30 11:04:11

回答 1查看 925关注 0票数 3

我是tensorflow的新手，正在尝试根据教程实现"seq2seq“模型。我不确定函数"embedding_attention_seq2seq“的一个参数"num_heads”(default=1)。它代表了什么？我没有在相关的文件中找到它。

发布于 2017-05-19 14:28:14

如果你读过像this one这样的解码器的源代码，你就会知道它代表了关注的数量。

有时会有几个注意事项(层次注意)，例如this paper中的这个(如下所示)。

第一个是单词，第二个是句子。

请查看此图表：

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/38113303

复制

相似问题

问tensorflow的seq2seq.embedding_attention_seq2seq中的“注意头”EN