如何从Tensorflow checkpoint (ckpt)文件中预测BERT-base中句子中的掩蔽词？

Question

我有基于BERT的模型检查点，这是我在Tensorflow中从头开始训练的。我如何使用这些检查点来预测给定句子中的掩蔽词？

例如，假设句子是，"CLS abc pqr MASK xyz SEP“，我想预测掩码位置的单词。

我该怎么做呢？我在网上搜索了很多，但每个人都在使用BERT来完成特定于任务的分类任务。而不是使用BERT来预测被屏蔽的单词。

请帮我解决这个预测问题。

我使用create_pretraining_data.py创建数据，并使用官方BERT存储库(https://github.com/google-research/bert)中的run_pretraining.py从头开始训练模型。

我在bert官方网站上搜索了一些问题。但没有找到任何解决方案。

还查看了该代码库中的代码。他们正在使用Estimator，他们正在训练，而不是使用检查点的权重。

我没有找到任何方法来使用BERT-base模型的Tensorflow检查点(从头开始训练)来预测单词掩码标记(即掩码)。

Answer 1

你真的需要从TF检查点开始吗？如果您可以使用pytorch-transformers库中使用的一个预先训练好的模型，那么我编写了一个库来实现这一点：FitBERT。

如果你必须从TF检查点开始，有一些脚本可以将TF检查点转换为pytorch-transformers可以使用的东西，link，在转换之后，你应该能够使用FitBERT，或者你可以看到我们在代码中做了什么。