我目前正在尝试在PyTorch中实现一个LSTM,只要涉及到处理批量大小和多维张量,我就会突然忘记线性代数是如何工作的。我有一个大小为64,19,1的注意力分数张量,其中64是批量大小,19是源句的最大长度。我还有一个编码器输出的张量(隐藏状态);它的形状是64、19、256,其中256是隐藏状态的维度。计算上下文向量/注意力得分和编码器隐藏状态的加权平均值的合适方法是什么?不幸的是,当涉及到超过两个维度/包括批次大小时,我的大脑无法对这些事情进行推理。
发布于 2021-10-19 18:54:08
就像context = torch.sum(attention * encoder_hidden, dim=1)一样简单。
https://stackoverflow.com/questions/69620936
复制相似问题