BERT语句嵌入与LSA嵌入的差异

Question

BERT即服务(https://github.com/hanxiao/bert-as-service)允许提取语句级嵌入。假设我有一个预先训练的LSA模型，它给了我一个300维词向量，当我试图比较两个句子的语义一致性时，我想知道在哪种情况下LSA模型会比BERT表现得更好？

我想不出为什么LSA在这个用例中会更好--因为LSA只是一大袋单词矩阵的压缩。

Answer 1

BERT需要具有序列长度的二次记忆，并且仅在拆分句子对上进行训练。在处理非常长的句子时，这可能不太方便。

对于LSA，您只需要词袋向量，它在文档长度中确实是恒定大小的。对于非常长的文档，LSA可能仍然是更好的选择。