什么标记语言通常用于注释信息提取语料库

Question

我正在构建一个信息抽取的语料库，用于提取特定类型的信息，并且我正在努力决定对实体进行注释的最佳方法。我发现IEER语料库使用SGML标记元素ENAMEX、NUMEX和TIMEX标记(如这里所描述的：task.html)。由于本文档是在1997年编写的，我猜想使用这种基于SGML的方法已经过时了，因此必须有更好的方法来实现这一点，例如使用OWL、RDF或XML。是否有更新的行业标准来注释信息抽取语料库？

Answer 1

我要说，这个领域没有足够的标准化，但也不清楚是否需要一种单一的格式。我的建议是查看选项并选择最适合您的数据和正在编码的信息的选项。

在注释语言资源方面，布拉特是新的经典。它有自己的僵持注释标准。还有一个阿纳福拉工具，它也有自己的基于XML的标准。基于UIMA的工具通常使用CAS标准(但文档不好)。您还应该查看本机门XML格式。

如果您正在编码的信息足够简单，比如命名实体类型，您甚至可以使用表格格式(如CoNLL )。

如果这些都不适合您的需求，那么只需执行任何适合它们的操作即可。

Answer 2

NLTK图书(第07章，段落:表示块:标记与树)指出：

最广泛使用的文件表示形式是、IOB标记、。

并接着解释说：

..。每个令牌都带有三个特殊块标记中的一个，即I(内部)、O(外部)或B (begin)。..。B和I标记后缀有块类型，例如B、I。 我们看到VBD o DT B-NP小JJ I-NP黄色JJ I-NP狗NN i NP

维基百科在IOB格式上有一个页面。

斯坦福大学NLP 显然也支持它。

spaCy使用略有不同的BILUO格式。