spacy将conllul转换为spacy json格式

Question

我从获得数据，我主要使用印度尼西亚语(bahasa)，所以我克隆了回购程序：

• 印度尼西亚-PUD
• 印度尼西亚-GSD

两个repo都包含bz2文件，解压后我得到包含的文件。那里的一切都是用conllul格式的。因此，我尝试使用命令将其转换为spacy的json格式：

python -m spacy convert thefile.conllul .

但是，spacy抛出错误消息：

Unknown format Can't find converter for conllul

如何进行转换？conllul和conll格式是相同的吗？如果没有，如何将conllul转换为conll格式？thx预先

Answer 1

好的，在回答你的问题之前，让我们先澄清一些事情。

以下陈述是正确的：

• 有不同的ConNLL格式
• 它们从CoNLL会议中派生出来的不同格式有共同之处。
• Spacy通过它的CLI为两种不同的格式提供了一个转换器:简单的conll格式和最近的conllu格式。您可以找到关于conll格式这里的更多信息，以及更多关于conllu格式这里的信息。
• Conllul是2018年提出的另一种数据格式。您可以阅读更多的这里
• Spacy不支持conllul和json格式之间的直接转换。

考虑到所有这些，我想你的问题的答案应该是为你的语言使用一个conllu格式，这是一种标准的处理自然语言数据的方法。我发现您的语言在ud集合中有这种格式的数据。您可以从这里下载数据，然后使用spacy转换器将数据转换为json。

我真的希望这能帮上忙。:)