bert嵌入和flair嵌入有什么区别？

Question

我读过关于BERT嵌入模型和FLAIR嵌入模型的文章，我不知道它们之间有什么区别？

• BERT使用transformers，FLAIR使用BLSTM
• 使用BERT，我们将输入单词到BERT体系结构中，而使用FLAIR，我们将字符输入到FLAIR体系结构中。

1. BERT嵌入式的优点是什么？
2. FLAIR嵌入式的优点是什么？
3. 在哪种情况下，我们更愿意使用一种模式而不是另一种模式？

Answer 1

总的来说，伯特可能更适合于意义扮演重要角色的任务。在与语法和词法相关的任务上，FLAIR可能也很好。此外，字符级模型的典型优点是对噪声具有较好的鲁棒性。机器翻译案例研究)。没有多少直接的比较，然而，有许多间接的线索表明这一点。

FLAIR根据命名实体识别、分块和词性标注进行评估.这三个任务都严重依赖于语法。FLAIR在CoNLL-2003命名实体识别数据集上报告的F-1分数为93.09，与BERT报告的F1-得分为92.8分相同。(不过，请注意，有些类似伯特的模型比原始的伯特要好得多，比如RoBERTa或艾伯特。)

在胶水和SuperGLUE基准测试中评估预训练表示的语义能力，其中BERT被用作基线，而FLAIR根本不在主板上。这意味着它会运行得很好。此外，最近尝试做字符级的预先训练的表现(参考文献。( 查尔弗，犬科)很难达到良好的语义性能，这也表明，作为字符级表示的FLAIR可能在面向语义的任务上存在问题。

总之，我只会考虑他们测试它的任务(NER，POS标记，分块)的天赋，特别是对于有噪音的用户生成的数据。对于其他任何事情，我都会使用RoBERTa或其他类似伯特的模型。