注意在非NLP领域使用的例子？

Question

当我寻找注意力实现示例时，带有注意力的编码器-解码器结构总是出现在第一位。除了自然语言处理之外，有没有其他领域使用注意力的例子？

Answer 1

至少有一种paper可以使注意机制适应非自然语言处理区域:分子注意转换器。分子的结构类似于图形，类似于句子。一个原子与其他原子之间有一段距离，它们相互依赖，就像句子中的单词一样。在这篇论文中，他们“通过增加原子间距离和分子图结构的自我注意力，使Transformer (Devlin等人，2018)适应化学分子。”

但转换器可能有更多的应用领域，至少在数据具有类似图形的结构和节点以某种方式相互依赖的情况下是这样。