Doc2Vec与BERT的差异

Question

我试图理解Doc2Vec和伯特之间的区别。我确实理解doc2vec使用一个段落ID，它也用作段落向量。不过，我不确定这个段落ID是否能更好地理解向量中的上下文？

此外，伯特对“银行”这类词的语境有着明确的理解，并赋予了不同的向量。例如,

1. 我抢劫了一家银行
2. 我坐在河边。

伯特会在这里为字库分配不同的向量。试图理解doc2vec是否也获得了这个上下文，因为在这里，段落id将是不同的(对于doc2vec)。有人能帮忙吗？

Answer 1

它的主要区别在于，伯特包括注意机制，而Doc2Vec没有。

注意机制是用来检测词间语境的功能，即利用注意权重从词的位置学习。

这比传统的嵌入方法(如Doc2Vec )有更好的效果，这要归功于数据的上下文方法。

另一方面，伯特可以处理词汇外的词汇，因为它使用了子词(例如：“子”+“单词”+ "s")而不是完整的单词(例如：“子词”)，从而提供了关于数据的更有意义的信息。