为什么对人工神经网络的神经编码的研究如此之少，以及是否有替代神经编码的方法？

Question

我认为神经编码/神经编码(神经元或偏倚如何对概念链的符号概念进行编码，例如每个特征是符号函数链及其参数)是理解神经网络的关键，因此神经编码也可以直接用于神经网络的知识蒸馏和精馏过程的微调和改进。神经编码也可用于注入偏见(例如，已有知识、专家知识、道德约束)，方法是以预先计算的方式改变权重/偏差，而不是生成大量的培训数据集和随后对模型进行培训。

我认为，神经编码是理论或人工神经网络的核心问题。

这就是为什么在这里面几乎没有工作是令人惊讶的。在神经科学中存在着大量的文献，在人工神经网络编码方面也有一些工作。有一种很好的https://arxiv.org/abs/2106.14587预印，可以被认为是定义神经代码的更大范畴的努力(从范畴理论的角度看，他们热衷于考虑整个宇宙，然后进行一些分类或寻找单个/自然物体--在这种情况下是最优代码)。但是这个预印并没有明确考虑这个编码问题。

所以-我的问题是:为什么对人工神经网络的神经编码/编码的研究如此之少(几乎不存在)？此外，是否还有其他方法来解决我在问题开头提到的问题，在我看来，神经编码是答案(或大部分)--因此，这可以解释神经编码研究的匮乏吗？

Answer 1

我不确定这个问题能否有一个客观的答案。

注意，在ML中这些被称为“神经网络”的事实只是一个类比:人工神经网络与生物神经网络不一样。人们很容易想象，我们可以直接将我们所知道的生物神经元应用到ML神经元上，但没有证据表明事情可以这样运作。拿一个荒谬的比喻来说，就好像有人试图研究树木在自然界中是如何工作的，从而改善决策树。

一般说来，关于遵循大自然如何改进技术的各种明显直观的想法，这在过去已经被证明是错误的。还有很多我们不知道大脑是如何工作的afaik。最后，人工神经网络不能像大脑那样工作的一个关键原因是:它们没有任何体验世界的方式，它们只能模拟训练数据。