关于(word2Vec)空间的维度与人类思维如何通过语言构建意义(或现实)之间的关系，有研究过吗？

Question

神经科学仍在试图“找到”心智(和语言)如何“工作”。是否有任何理论将(低维)嵌入空间(如word2Vec)与心智(语言)模型联系起来？有认知语言学理论吗？

Answer 1

在此采取的一些初步步骤：

通过映射语义关系的皮层表征来连接大脑中的概念

为了将单词表示为向量，我们使用了预训练的word2vec model21。简单地说，该模型是一个浅层神经网络，用于预测Google数据集中每个单词的相邻单词，其中包括大约1000亿个单词(https://code.google.com/archive/p/word2vec/)。经过训练，该模型能够将任何英文单词转换为嵌入在300维语义空间中的向量(通过python中的软件包Gensim56提取)。请注意，使用word2vec学习的基本函数不应单独解释，而应集体地解释为一个空间。将编码模型应用于词对的微分向量，可以有效地生成对应词关系的皮层表示。利用这一概念，我们使用编码模型来预测语义关系的皮层表征。对于每一类语义关系，我们计算了该类中每个词对的关系向量，利用编码模型将关系向量投影到皮层，并对该类中的每个词对样本进行投影模式的平均值。