前馈网络中的稀疏连接-流量还是火炬？

Question

我想要建立稀疏的前馈网络，在Pytorch和Tensorflow中，也就是说，每个节点只连接到下一层的k个神经元数，其中k严格地小于下一层的节点总数。但是，到目前为止，我看到的所有教程/示例都是关于完全连接的前馈网络的。有没有办法在这些工具中构建这样稀疏的网络？

Answer 1

同意Fadi的观点。只是效率不高。您必须将输入和权重张量拆分为tensor.size()/k块，然后对每一对块添加操作。即使您有一个高效的索引方案，将块连接到mul-add中一次，那么就必须将不索引输出到一个平坦的批处理张量。

需要考虑的几件事情是路径网 - 火炬和这 (如果您感兴趣的话，我在某个地方有一个半工作的实现)，但这两个都是您所谈论的高效版本的变体，这是某种形式的路由。

Answer 2

你需要的是特定的边缘，还是只需要一个不变的稀疏水平？我知道Keras允许您将一个随机种子传递给辍学层。如果我正确理解你需要什么，你只需要设定辍学率来得到你想要的稀疏性，然后把随机种子设置成总是相同的，这样各层就会掉下(并保持)相同的连接。

Answer 3

这个教程可能是使用tensorflow的方法。树结构导致层间稀疏，并对其进行了显式编程。同时使用卷积层和完全连接层。作者共享完整代码的链接。