首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在PyTorch中计算注意力得分和编码器输出的加权平均值?

问如何在PyTorch中计算注意力得分和编码器输出的加权平均值?
EN

Stack Overflow用户
提问于 2021-10-18 18:36:29
回答 1查看 91关注 0票数 0

我目前正在尝试在PyTorch中实现一个LSTM,只要涉及到处理批量大小和多维张量,我就会突然忘记线性代数是如何工作的。我有一个大小为64,19,1的注意力分数张量,其中64是批量大小,19是源句的最大长度。我还有一个编码器输出的张量(隐藏状态);它的形状是64、19、256,其中256是隐藏状态的维度。计算上下文向量/注意力得分和编码器隐藏状态的加权平均值的合适方法是什么?不幸的是,当涉及到超过两个维度/包括批次大小时,我的大脑无法对这些事情进行推理。

EN

回答 1

Stack Overflow用户

发布于 2021-10-19 18:54:08

就像context = torch.sum(attention * encoder_hidden, dim=1)一样简单。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69620936

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档