地方主义单热向量在cs224n NLP课程中意味着什么？

Question

Chris 说 one-热是“地方主义”的表示法。

“地方主义者”在这里是什么意思？

我在推荐信上搜索过，没有找到解释。

有线索吗？

Answer 1

一个热点向量被称为“地方主义者”，因为它只包含关于单个数据点的信息，与包含其他数据点信息的分布式表示(例如嵌入算法的结果)相反，它没有给出关于其他点的线索。

例如，两只动物和两朵花的一个热编码如下

dog   = [1, 0, 0, 0]
cat   = [0, 0, 1, 0]
rose  = [0, 1, 0, 0]
tulip = [0, 0, 0, 1]

任何一对之间的距离是相同的，有效地，通过知道“玫瑰”的向量，我们没有得到关于相关的“郁金香”或不相关(或不那么亲缘的)“狗”和“猫”的信息，因此就被命名为“地方主义者”。

但是，如果我们碰巧找到了一个分布式表示，比如

dog   = [1.0, 0.1]
cat   = [1.1, 0.2]
rose  = [0.0, 1.2]
tulip = [0.1, 1.3]

“玫瑰”的向量给我们提供了一些线索，比如“郁金香”等更接近的花朵，以及其他像动物这样更远的实体，因此就有了“全球主义者”的名字。

两个注释：

1. 成为“地方主义者”不是一回事。表示法给出的关于其他数据点的线索越多，就越不是地方主义者。
2. “关联”的概念与任务有关。例如，在“用相似颜色的东西分组”的任务中，红色的汽车比蓝色的汽车更与红玫瑰相关。

这是一个随机的图片，这些实体的乐趣！

如果所有的配对看起来都不一样，你的大脑就会与“地方主义”向量一起工作，因此没有任何线索;)