良好的NLP模型，用于计算成本低廉的预测，能够合理地近似于给定大训练数据集的语言模型

Question

我有一个大约10亿句的语料库，其中我试图解决新的冲突(当两个术语重叠在一个句子中)。我最初的计划是在大量冲突中每个都有一个中小企业标签，然后使用这些标签来训练一个NER模型或一个二进制分类模型(如GAN)，以便在两个NER标签冲突时识别正确的选择。

问题是，这些句子中大约有5%含有冲突，我认为我没有足够的计算资源在合理的时间内对5000万个句子进行伯特或阿尔伯特预测。因此，我希望使用ALBERT模型为计算成本较低的模型生成大量标签(可能有100万)。

所以，我想知道是否有一个比伯特便宜10到100倍的模型，它可以被训练做一个合理的工作来复制艾伯特模型的性能，因为这个模型产生了大量的训练数据。

Answer 1

有几个较小的伯特模型，包括伯特-蒂尼。伯特-蒂尼是整个伯特模型的升华。