使用BERT模型检索“相关令牌”(已经过微调)

Question

我已经针对分类任务对BERT模型(使用huggingface库)进行了微调，以预测两种类型的帖子类别(例如，1和0 )。但是，我需要检索被预测为类别1的文档的“相关令牌”(例如)。我知道，一旦我用BERT模型将所有帖子标记为1(例如)，我就可以使用传统的TF-IDF方法。但我有以下问题:有没有可能用经过微调的BERT模型的架构来完成同样的任务？我的意思是，访问编码器的最后一层(预测层)，并使用注意力机制，获得使te预测为1的“相关”标记(例如)？这样做有可能吗？有没有人知道类似的教程？

Answer 1

使用transformer模型，您可以执行一些可解释性分析，这可能是您想要的。我建议您查看SHAP的transformer部分。您只需将模型包装在SHAP解释器中，如下所示：

import shap
explainer = shap.Explainer(model) 

如果您有与令牌相关的标签，则还有另一个选项，即训练令牌分类模型。但这将需要对每个令牌进行再培训和标签。