测试我的回指解析工具

Question

我正在构建一个回指解析工具。我做了大量的文献回顾，我有一个很好的想法，我应该做什么来构建一个基本的工具。然而，问题是，我如何测试它。我找不到任何带注释的语料库来测试它。有人可以建议我如何测量我的工具的精确度和召回率。

Answer 1

从这里：http://www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00152

4.1节

OntoNotes-开发

-在CoNLL2011共享任务中提供的OntoNotes v4.0的开发分区(Pradhan et al.2011)。OntoNotes-测试

- CoNLL-2011共享任务中提供的OntoNotes v4.0的测试分区。

ACE2004-Culotta-测试-先前几项研究保留用于测试的ACE 2004语料库的划分(Culotta et al.2007年；Bengtson和Roth 2008；Haghighi和Klein 2009)。

ACE2004-nwire -ACE2004语料库的newswire子集，由Poon和Domingos (2008)和Haghighi和Klein (2009)用于测试。

MUC6-测试-来自第六届消息理解会议(MUC-6)评估的测试语料库。

你可以在这里找到MUC的详细信息http://www-nlpir.nist.gov/related_projects/muc/muc_data/muc_data_index.html

只要看看你的参考资料中实验部分的开头。你一定会找到链接的。如果你查看最常用的数据集，你会发现你的数据集。