嵌入在机器学习中意味着什么？

Question

我刚在一篇关于深度学习的论文中遇到了一个叫做“嵌入”的术语。语境是“多模嵌入”。

我猜:嵌入某物就是提取某物的某些特征，形成一个向量。

我无法理解这个术语的明确含义，这使我无法完全理解作者的想法和模型机制

我查字典和在线搜索，但解释更多的是基于现实生活的意义，而不是作为机器学习术语的意义。

这就提出了一个更普遍、更经常遇到的问题，当你发现一些机器学习术语/词你不太懂的时候，你能从哪里得到解决方案，一些到谷歌的具体方法？加入机器学习小组？在堆栈交换中提出一个问题？

Answer 1

在机器学习的背景下，嵌入是一种低维，学习到的离散变量的连续向量表示，您可以将高维向量转换到其中。一般来说，嵌入使ML模型更高效、更容易使用，也可以与其他模型一起使用。

通常情况下，当我无意中遇到行话时，我首先会求助于Google，如果找不到它，我就会打开我的同事和数据科学论坛。

Answer 2

根据所有的答案(谢谢)和我的谷歌搜索，我得到了一个更好的理解，所以我最新的理解是：

嵌入机器学习或NLP实际上是一种从单词到向量的技术映射，您可以做更好的分析或关联，例如，"toyota“或"honda”在单词中几乎不相关，但是在向量空间中，它可以根据某种标准设置得非常接近，还可以通过设置: king-man+woman = Queen来加强单词之间的关系。

因此，我们可以将男孩设为(1,0)，然后将女孩设为(-1,0)，以表示它们处于相同的维度，但意义正好相反。所有性别差异的名词都可以是平行的~

我最初的猜测是，嵌入是从某物中提取特征，这是非常接近的，但不够具体。

最后一点，当你在某个特定领域遇到行话时，我仍然没有找到一个很好的方法，也许一个能解释行话在那个领域的含义的网站会为我们节省大量的时间。

Answer 3

LSA社区似乎第一次在Landauer等人中使用了“embedding”一词。(1997)，其数学意义的一种变体，如从一个空间或数学结构到另一个空间或数学结构的映射。在LSA中，词嵌入似乎描述了从稀疏计数向量空间到SVD稠密向量的潜在空间的映射。虽然这个词最初指的是从一个空间到另一个空间的映射，但它的转喻是指潜在空间中由此产生的密集向量。在这个意义上，我们现在使用这个词。

对于更普遍和经常遇到的问题，我建议你阅读教科书，特别是经典的教科书。

参考文献：

言语与语言处理:自然语言处理概论