如何评价自然问答世代对？

Question

我试图生成一个特定领域的自然问题-答案。我正在使用一个大型语言模型(LLM)。我只有上下文才能产生问题答案，但没有任何根据的真理。如何测量精确度或世代有多好？我正在重复实验2-3次，如何比较哪些问题答案对是好的？因为每次生成的问题答案是不同的。

例如，e：

上下文:

"""This section describes our proposed method. The detailed setup for our experiments is described in Sections 4.1 and 4.2."""

Iteration1 (生成的问答)

Q: This section describes what?
A: This section describes the paper's proposed model.

Iteration2 (生成的问答)

Q: Which section describes the detailed experiments?
A: Sections 4.1 and 4.2 describes the detailed setup and experiments.

Iteration2 (生成的问答)

Q: Sections 4.1 and 4.2 describes what?
A: Detailed setup and experiments are described in Sections 4.1 and 4.2

现在，我想衡量一下这个模型在根据给定段落生成问题和答案方面有多好。我能用什么矩阵？请指导我在这方面，如果可能的话，也分享文件。

Answer 1

我想您使用的是seq2seq转换器，比如T5。input -> output可能被定义为<context> -> question: ..., answer: ...。

由于您没有任何基本事实，我将使用另一个模型，一个黄金标准/SOTA，如果您可以回答，其中的input -> output是question:... , context:... -> <answer>。因此，我将使用您的LLM的答案，并根据金本位对其进行评估，在那里，我将在LLM的answer和QA黄金标准的answer之间使用BLEU评分(或文本生成)。

当然，在限制中，你应该承认这样的评价并不理想，因为你没有基本的真理。或者您可以尝试使用一些QA模型和平均值。你应该小心那些超参数。假设一个序列输出长度小于另一个序列输出长度。

Answer 2

没有地面真实就无法测量精度，生成的答案必须贴上标签。标签可以由人类或另一个已建立的LLM产生。