如何在Huggingface模型训练中/训练后获得精确性？

Question

我用HuggingFace Trainer训练罗伯塔戴面具的LM。正如其他讨论线程所建议的那样，我正在为compute_metrics传递以下函数：

metric = load_metric("accuracy")

def compute_metrics(eval_pred):
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

我使用load_dataset从文本文件中加载数据集，在应用标记程序之后，它返回attention_id、input_ids，但不返回labels。我正在使用Trainer对这个数据集进行培训。尽管如此，在通过上述compute_metrics函数后，我仍然无法在训练过程中找到我的模型的准确性，或者在对测试数据进行训练之后无法评估我的模型。如何在训练过程中获得该模型的准确性，以及如何像在Keras模型中使用model.evaluate()那样对其进行评估？它是如何测量的？

Answer 1

如果您使用的是其中一个示例脚本，您是否检查了--估价_策略参数？默认值为None，但可以将其设置为步骤或时间。