回答情况：
提问时间：
问题标签：
为了一个目标，我试图计算稀疏矩阵和稠密矩阵的MultiHead注意矩阵。我知道默认情况下，需要两个密集矩阵，然后在使用Vaswani集的查询、键和值进行Softmax操作后返回注意值。但是，我有一个用例，其中我有一个稀疏和密集的矩阵，我希望将它们分别作为查询和值传递到MultiHead注意层。
默认情况下，不支持，转换为密集和返回不是一个选项，因为时间复杂性增长了很多。有没有任何方法可以覆盖与稀疏密集组合不兼容的内部应用程序，或者用诸如sparse_dense_matmul这样的混合API来代替它们来进行注意力计算？尽管如
浏览 7修改于2022-07-08得票数 0
And，之后添加一个 TimeDistributed 稠密层，如何从我的网络中检索注意力权重(为了可视化目的)？--这样我就知道哪个句子对文档被归类为好的或坏的负有“责任”。y= [1,0,0,1,1]我不需要嵌入层，因为每个文档的每个句子都是稀疏向量。但是，我怎样才能从中获得注意力-权重(例如，我知道是哪一句导致了1的分类)？非常感谢的帮助
浏览 2修改于2020-01-11得票数 0
回答已采纳
我还没有编写代码，因为我对cookies的使用还很陌生，并且试图把我的注意力集中在cookies编码的概念上。我将对我的登录系统中cookie和会话数据的使用进行梳理。每次服务器检查时，我是否应该更新以查看用户是否已登录，还是应该是稀疏的？应该只在没有找到会话并检查cookie有效性的情况下更新它吗？
浏览 0修改于2018-04-17得票数 0
回答已采纳
1回答
使用优化的稀疏例程(如cuSparse或特征或Matlab)乘CSR稀疏x密集矩阵或密集x CSR稀疏矩阵需要多少浮点运算。在稀疏矩阵完全密集的极限中，操作的数量是N^2*(2*N-1) --那么，当稀疏矩阵不够稀疏时，为什么稀疏例程比密集例程慢呢？正在进行哪些额外工作？
浏览 1修改于2018-07-15得票数 1
回答已采纳
在阅读注意力机制时，我对注意力这个术语感到困惑。我们的注意力是否和通常的定义中描述的一样？
浏览 22提问于2019-03-03得票数 1
回答已采纳
我理解变压器体系结构(从“注意就是你所需要的”)，以及如何在多头注意力层中计算注意力。
我感到困惑的是，为什么注意力层的输出是上下文向量。也就是说:变压器的训练方式如何使注意力层学习上下文？我希望在这篇论文中看到的是这样一个道理：“当你训练一个变压器时，当你把注意力集中在顺序到顺序的任务上时，注意力层就会学习上下文，这就是为什么……”。为什么不能让注意力层学习到一些其他的特性，这些特性在顺序上对任务的排序也是有益的呢？我们怎么知道他们学习的是语境，而不是我们所观察到的？
浏览 0提问于2020-11-12得票数 1
当我寻找注意力实现示例时，带有注意力的编码器-解码器结构总是出现在第一位。除了自然语言处理之外，有没有其他领域使用注意力的例子？
浏览 2提问于2020-02-20得票数 0
1回答
我正在处理不是非常稀疏的大型稀疏矩阵，我总是在想，需要多少稀疏性才能将矩阵存储为稀疏矩阵才是有益的？我们知道，一个相当密集的矩阵的稀疏表示可以具有比原始矩阵更大的大小。那么，矩阵的密度是否有一个阈值，以便更好地将其存储为稀疏矩阵？我知道这个问题的答案通常取决于稀疏性的结构，等等，但我想知道是否有一些指导原则？例如，我有一个非常大的矩阵，密度约为42%。我应该将这个矩阵存储为密集的还是稀疏的？
浏览 0提问于2014-08-26得票数 3
我不知道为什么输出投影会影响注意力向量的大小。在我看来，注意力机制是基于单元格输出计算的，在被注意力使用之前，没有对单元格输出进行投影操作。那么，输出投影如何影响注意力向量的大小呢？
非常感谢，并恳求一些解释...
浏览 0提问于2017-03-18得票数 0
我在linux内核上运行稀疏。错误2
/bin/sh: 1: llvm-config:not安装‘parse.h’->‘/home/lovegcy/include/稀疏/p
浏览 8提问于2013-08-09得票数 2
回答已采纳
3回答
我正在考虑使用CUDA C来解决一个涉及稀疏矩阵加法的特殊问题。
似乎只讨论稀疏对象和密集对象之间的操作。这也让我想到:稀疏-稀疏加法是如此琐碎，可能只是使用“+”或类似的情况；或者稀疏-稀疏加法没有实现。哪个是正确的，我在哪里可以找到文档？
浏览 2修改于2018-12-26得票数 1
回答已采纳
我在python中有一个CSR稀疏格式的稀疏矩阵，我想将它导入MATLAB。MATLAB没有CSR稀疏格式。对于所有类型的矩阵，它只有一个稀疏格式。由于矩阵是非常大的密集格式，我想知道如何导入它作为一个MATLAB稀疏矩阵？
浏览 3提问于2014-09-08得票数 8
回答已采纳
1回答
最近我在读“注意力就是你所需要的一切”这篇论文，通过它，我发现了一个关于理解注意力网络的问题，如果我忽略了它背后的数学原理。有没有人能举个例子让我理解注意力网络？
浏览 1提问于2019-12-05得票数 4
我知道如何在创建或更改表时添加稀疏。ALTER COLUMN C1 VARCHAR(50) SPARSE NULL并且可以对稀疏列执行稀疏查询。只是想知道是否有任何方法来检查列是否已被设置为稀疏的？基本上，我正在尝试创建一个脚本，该脚本将确定sql server的兼容性级别，如果它支持稀疏，那么它将检查“列是否已被稀疏”，如果没有，则需要更改该列并添加稀疏。如果能够确定空百分比，情况会更好。
浏览 0修改于2014-10-13得票数 2
回答已采纳
为了保持我们的注意力集中，让我们非常具体地说，我有两个3x3矩阵，带有整数条目0<=x<15。 } }return 0;备注：
矩阵不一定是稀疏的
浏览 3修改于2017-05-23得票数 7
回答已采纳
我知道tensorflow提供了一些处理稀疏张量的方法。例如，当存在稀疏矩阵时，tf.sparse_tensor_dense_matmul比tf.matmul更快。在深卷积网络中，经过训练得到稀疏卷积核。我想知道如何保存卷积核，使tensorflow知道内核是稀疏的？
我看过一些报纸。本文提出了稀疏卷积比传统卷积更有效的计算方法。但是，tf.nn.conv2d并不表示它将比密集卷积核更快地用稀疏卷积核进行计算。如何从稀疏的内核中获得优势？
浏览 4提问于2017-05-25得票数 2
回答已采纳
1回答
对于非常大的稀疏向量，计算距离/邻近矩阵的最佳方法是什么？例如，您将得到以下设计矩阵，其中每行为68771维稀疏向量。designMatrix <5830x68771型稀疏矩阵与压缩稀疏行format>中存储的1229041个元素
浏览 2提问于2011-03-18得票数 1
回答已采纳
1回答
由于数据维度太大，我不得不将数据转换为稀疏矩阵，而不是密集数组。
然而，由于该图包含cnn，当我直接给稀疏矩阵喂入时，我被告知cnn不能接收稀疏张量。所以我得先做“稀疏到稠密”的操作。但问题是，我的数据(多稀疏矩阵)应该转换成二维稀疏矩阵。(例如，我有稀疏matrix1，dim为14,25500，稀疏matrix2，dim为14,25500，理想维数为2,14,25500，但我所面对的现实是28,25500)，所以在进入图后，我不得不拆分张量
浏览 0提问于2017-10-13得票数 0
回答已采纳
其中两种是列稀疏矩阵和行稀疏矩阵。所述列稀疏矩阵支持快速列切片操作，所述行稀疏矩阵支持快速行切片操作。
但我不是如果操作ai，：是列还是行切片操作。有什么帮助吗？
浏览 2提问于2014-06-04得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号