ROUGE评估法给出零值

Question

我已经按照http://kavita-ganesan.com/rouge-howto中的说明设置了所有参数。但我得到的精确度、召回率和f-1都是零值。请帮帮我，我能做些什么？

Answer 1

如果您已经正确设置了所有参数，并且在运行rouge时没有得到任何错误，那么您可能在将摘要文件制作为html格式时犯了以下错误。

rouge does not handle whitespaces properly 
thus
<a name="1">[1]</a> <a href="#1" id= 1>
<a name="1">[1]</a> <a href="#1" id=1>
are not the same

在第一种情况下，您不会看到任何错误，但输出将为零。在第二种情况下，您会得到正确的输出。

希望这能帮上忙..

Answer 2

settings.xml文件应如下所示：

<ROUGE_EVAL version="1.5.5">
    <EVAL ID="1">
        <PEER-ROOT>systems</PEER-ROOT>
        <MODEL-ROOT>models</MODEL-ROOT>
        <INPUT-FORMAT TYPE="SPL" />
        <PEERS>
            <P ID="1">peer.txt</P>
        </PEERS>
        <MODELS>
           <M ID="A">modelA.txt</M>
           <M ID="B">modelB.txt</M>
           <M ID="C">modelC.txt</M>
           <M ID="D">modelD.txt</M>
        </MODELS>
    </EVAL>
</ROUGE_EVAL>

尽管您的输入格式类型可能有所不同，但我发现SPL适用于.txt，请参见is for HTML。

让我犯错的一件事是：<M ID="A">modelA.txt</M>，我把它当作<P ID="A">modelA.txt</P>，ROUGE没有抱怨，它只是每个值都是0。所以，要留心像这样的小事情。