什么时候嵌入对小输入空间有用？

Question

我注意到，有些作者倾向于对几乎所有的东西都使用嵌入式。例如，在AlphaStar文件中，或下面是OpenAI5文件(链接)的示例：

这里嵌入的英雄编码了17位英雄中哪一位被选中的信息。每个游戏有5个可挑选的英雄，这将产生一个大小为17 *5= 85的热编码矢量。相反，他们选择使用嵌入来编码这些信息。这看起来是不是有点过火了？

我的理解是，嵌入对于大规模输入非常有用，比如单词语料库，因为它们很好地降低了维度。在上面这样的较小的输入上这样做有什么好处？只是方便吗？或者我误解了嵌入在这里意味着什么？

编辑:我想补充的是，即使英雄嵌入包含更多独特的信息，如健康，魔法等等，那么它仍然是非常小的，可能低于200个值。那么，什么时候开始使用嵌入，而不是直接使用这些值呢？根本的想法是什么？

Answer 1

嵌入的优点是将分类变量转换为数值变量。这些数值变量具有语义意义。因此，对数值的任何有效的数学运算都具有可解释的意义。

单热编码只是告诉模型两个实体是不同的。嵌入告诉实体有多不同。