NER中的注意

Question

我正在构建一个命名实体识别模型，其中包含了BERT+BiLSTM+CRF。现在我打算介绍一个注意层。我的问题是-我应该在这里使用什么类型的关注，为什么？

数据:这是发票数据-我正试图从发票中提取公司和个人的名字。

Answer 1

伯特是一个变压器编码器，这是专门基于注意层，所以你已经有注意那里，不需要额外的注意。实际上，使用BERT是NER的典型方法。不需要顶部的双CRFs，或CRF。

我建议你从标准的方法开始，比如找伯特。为此，有像泰纳这样的库，它是建立在拥抱变压器之上的，这使得整理NER模型变得非常容易。