小组主办的自然语言处理顶级会议 EMNLP 2018 即将于 10 月 31 日到 11 月 4 日在比利时布鲁塞尔举行,另一个也有不小影响力的会议,ACL 下属的 SIGNLL 主办的计算自然语言学习会议 CoNLL 10 月 30 日(美国时间 10 月 29 日),CoNLL 2018 大会公布了论文奖。雷锋网 AI 科技评论介绍如下。 论文地址:http://aclweb.org/anthology/K18-1030 更多 CoNLL 2018 及 EMNLP 2018 报道,请继续关注 AI 科技评论。
,CoNLL)主办。 在今年 CoNLL-2017 评测(http://universaldependencies.org/conll17/)上,哈工大社会计算与信息检索研究中心取得第四名的佳绩,这也是亚洲团队所取得的最好成绩 2009 年,获 CoNLL 国际多语种句法和语义分析评测第 1 名。 AI 科技评论:您的团队此前在 2005、2008 及 2009 年的 CoNLL 上都获得了优异的成绩,鉴于每年的任务类型与难度都不同,是否能和我们介绍一下 CoNLL 历年任务的整体变化趋势? CoNLL 每年会征集评测题目,最终根据研究内容是否前沿、标注数据是否高质量、组织单位经验是否丰富等方面评选出一项最终的评测内容。根据 CoNLL 的传统,相关的评测往往会连续举行两年。
选自arXiv 作者:Mikel Artetxe 机器之心编译 参与:李亚洲、路雪 CoNLL 是自然语言处理领域的顶级会议,每年由 SIGNLL 组织举办。 CoNLL 2018 大会将于 10 月 31 日-11 月 1 日在比利时布鲁塞尔举行,地点与 EMNLP 2018 一样(EMNLP 2018 将于 10 月 31 日-11 月 4 日举行)。 昨日,CoNLL 公布了最佳论文,由来自西班牙巴斯克大学 IXA NLP 组的 Mikel Artetxe 等人获得。
1 MUC Data Sets https://www-nlpir.nist.gov/related_projects/muc/ 2 CoNLL-2002 https://www.clips.uantwerpen.be /conll2002/ner/ 3 CoNLL-2003 CoNLL 2003是由新闻通讯社的文章以四种不同的语言(西班牙语、荷兰语、英语和德语)创建的,重点关注4个实体:PER(人员),LOC(位置 ),ORG(组织)和MISC(其他,包括所有其他类型的实体) https://www.clips.uantwerpen.be/conll2003/ner/ 4 2010 I2B2 2010 I2B2
我们的 8 层模型在 CoNLL 2005 测试集上达到 83.2 F1,在 CoNLL 2012 测试集上达到了 83.4 F1。与以前的技术水平相比,大约减少了 10% 的相对误差率。 在本文中,我们展示了这一结果可以通过具有约束译码的深度 highway 双向 LSTM 进一步推动,并再次显著提高了现有技术(在 CoNLL 2005 上有两个点的提升)。 表2:CoNLL 2012 上的实验结果采用和表1 相同的度量方法。 表6:2005年CoNLL上的F1,以及按类型细分的CoNLL 2012 上的 development set。 语法约束解码(+ AutoSyn)显示了域内数据(CoNLL 05 和 CoNLL 2012 NW)的更大改进。
03 相关评测 CoNLL 会议 2008、 2009 年对依存分析和语义角色标注联合任务进行评测。 CoNLL 2008: https://www.clips.uantwerpen.be/conll2008/ CoNLL 2009: http://ufal.mff.cuni.cz/conll2009-
silhouette_score# 计算轮廓系数score = silhouette_score(X, labels)print(f'Silhouette Score: {score}')示例完整代码(CoNLL nltk import download# 下载 CoNLL-2003 数据集download('conll2003')# 提取 CoNLL-2003 数据集def load_conll_data() : sentences = [] for sentence in conll2003.iob_sents(): words = [word for word, _, _ in Silhouette Score: {dbscan_score:.4f}")print(f"Agglomerative Clustering Silhouette Score: {agg_score:.4f}")CoNLL -2003 数据集:我们通过 nltk.corpus.conll2003 来加载 CoNLL-2003 数据集。
中对多语言的不受限制的共指进行建模):http://conll.cemantix.org/2012/task-description.html 挑战:CoNLL 2011 Shared Task: Modeling Unrestricted Coreference in OntoNotes(CoNLL 2011共享任务:在OntoNotes中对多语言的不受限制的共指进行建模):http://conll.cemantix.org /conll13st.html 挑战:CoNLL 2014Shared Task: Grammatical Error Correction(CoNLL 2014共享任务:语法错误校正):http:// -2002 NER corpus:https://github.com/teropa/nlp/tree/master/resources/corpora/conll2002 资料:CoNLL-2003 ):http://universaldependencies.org/conll17/ 挑战:CoNLL2016 Shared Task: Multilingual Shallow Discourse
Shared Task: Modeling Multilingual Unrestricted Coreference in OntoNotes (http://conll.cemantix.org/ Grammatical Error Correction (http://www.comp.nus.edu.sg/~nlp/conll13st.html) 竞赛:CoNLL-2014Shared Task /W03-0419) 资源:CoNLL-2002 NER corpus (https://github.com/teropa/nlp/tree/master/resources/corpora/conll2002 ) 资源:CoNLL-2003 NER corpus (https://github.com/synalp/NER/tree/master/corpus/CoNLL-2003) 资源: NUTNamed /conll16st/) 竞赛: CoNLL2015 Shared Task: Shallow Discourse Parsing (http://www.cs.brandeis.edu/~clp/conll15st
Models for Grammatical Error Correction (https://arxiv.org/abs/1606.00189) 竞赛:CoNLL-2013Shared Task: Grammatical Error Correction (http://www.comp.nus.edu.sg/~nlp/conll13st.html) 竞赛:CoNLL-2014Shared Task /W03-0419) 资源:CoNLL-2002 NER corpus (https://github.com/teropa/nlp/tree/master/resources/corpora/conll2002 ) 资源:CoNLL-2003 NER corpus (https://github.com/synalp/NER/tree/master/corpus/CoNLL-2003) 资源: NUTNamed /conll16st/) 竞赛: CoNLL2015 Shared Task: Shallow Discourse Parsing (http://www.cs.brandeis.edu/~clp/conll15st
Stanford 官方发布的 NLP 库,详细信息请访问: https://stanfordnlp.github.io/stanfordnlp/ 说明 如果在研究中使用了他们的神经管道,可以参考他们的 CoNLL and Dozat, Timothy and Zhang, Yuhao and Manning, Christopher D.}, booktitle = {Proceedings of the {CoNLL url = {https://nlp.stanford.edu/pubs/qi2018universal.pdf}, year = {2018} } 但是,这个版本和 Stanford 大学的 CoNLL 神经管道训练模型 目前,CoNLL 2018 共享任务中的所有 treebanks 模型都是公开的,下载和使用这些模型的说明: https://stanfordnlp.github.io/stanfordnlp /installation_download.html#models-for-human-languages 训练你自己的神经管道 这个库中的所有神经模块都可以使用自己的 CoNLL-U 格式数据进行训练
它可通过如下方式安装: pip install NERDA 数据集 我们将使用带有NER标注的CoNLL-2003英文数据集来训练和验证我们的模型。 from NERDA.datasets import get_conll_data, download_conll_data download_conll_data() training = get_conll_data ('train') validation = get_conll_data('valid') CoNLL-2003使用以下类型的命名实体(相当标准的类别)进行操作: 1. 未命名实体(O) CoNLL-2003数据集中的每一条观测值都是一个经过分词的句子,每个分词都带有一个命名实体标签。 下面,你将看到CoNLL数据集中随机取出的一个句子示例,同时列出了其分词与对应的命名实体标签([标签])。
针对自然语言处理方向比较重要的几个会议有:ACL、EMNLP、NACAL、CoNLL、COLING、ICLR、AAAI、NLPCC等。 这些 SIGs 也会召开一些国际学术会议,其中比较有名的就是 SIGDAT 组织的 EMNLP 和 SIGNLL 组织的 CoNLL(Conference on Computational Natural CoNLL 会议全称:Conference on Computational Natural Language Learning. 会议链接地址:http://www.conll.org/ SIGDAT 组织的 EMNLP 和 SIGNLL 组织的 CoNLL( Conference on Computational Natural ACL 、AAAI是 CCF 推荐A类国际学术会议,EMNLP 和 COLING 是B类,NAACL 、CoNLL、NLPCC则是C类。
相关评测 CoNLL会议2008、 2009 年对依存分析和语义角色标注联合任务进行评测。 CoNLL 2008:https://www.clips.uantwerpen.be/conll2008/ CoNLL 2009:http://ufal.mff.cuni.cz/conll2009-st
的 GLEU 分数,这使其成为首个在两个基准数据集上都达到人类水平(CoNLL72.58,JFLEG62.37)的 GEC 系统。 表 2:GEC 系统在 CoNLL 和 JFLEG 数据集上的结果对比。 表 3:性能最佳的 GEC 系统在 CoNLL 和 JFLEG 数据集上的评估结果分析。红色字体的结果超越了人类水平。 ? 表 4:有/没有流畅度提升学习的卷积 seq2seq 模型在 CoNLL-2014 数据集的每个错误类型上的召回率对比。 ? 表 5:从左到右和从右到左的 seq2seq 模型对 CoNLL-2014 中每种错误类型的召回率
closely matches the published model, achieving a F1 of 78.9% on English Ontonotes 5.0 dataset using the CONLL 我们的 8 层模型在 CoNLL 2005 测试集上达到 83.2 F1,在 CoNLL 2012 测试集上达到了 83.4 F1。与以前的技术水平相比,大约减少了 10% 的相对误差率。
我们以 elastic/distilbert-base-uncased-finetuned-conll03-english 模型为例。 -u <USERNAME> -p <PASSWORD> \ --hub-model-id elastic/distilbert-base-uncased-finetuned-conll03 检查 elastic__distilbert-base-uncased-finetuned-conll03-english 的状态是否为 Started。3. 点击操作栏的 Test model。 processors": [ { "inference": { "model_id": "elastic__distilbert-base-uncased-finetuned-conll03
数据介绍 在本文中,我们选用 CoNLL 2005SRL 任务开放出的数据集作为示例。 需要特别说明的是,CoNLL 2005 SRL 任务的训练数集和开发集在比赛之后并非免费进行公开,目前,能够获取到的只有测试集,包括 Wall Street Journal 的 23 节和 Brown CoNLL 2005 训练语料中有 5% 的词不在这 4900,000 个词中,我们将它们全部看作未登录词,用<unk>表示。 conll05.test() 每次产生一条样本,包含 9 个特征,shuffle 和组完 batch 后作为训练的输入。 由于 CoNLL 2005 SRL 任务的训练数据目前并非完全开放,本文中只使用测试数据作为示例。
除此之外,其他相关的评测会议包括CoNLL(Conference on Computational Natural Language Learning)、ACE(Automatic Content Extraction 此外,一些评测还扩大了专业名词的范围,比如CoNLL某年组织的评测中包含了产品名的识别。 (CoNLL 2002)Annotated Corpus for Named Entity Recognition。 Stanford NER 斯坦福大学开发的基于条件随机场的命名实体识别系统,该系统参数是基于 CoNLL、MUC-6、MUC-7 和 ACE 命名实体语料训练出来的。
下表是在CoNLL2000和CoNLL2012数据集上的准确率: ? 结果表明,CoNLL2000中DIORA效果最好,但是CoNLL2012的话ELMo效果最好,这也说明了DIORA在细粒度的语料上还有提升空间。 还有一点奇怪的就是,在CoNLL2012上,ELMo-CI的效果竟然比ELMo-SI还要好,这也是没法解释的。 最后就是一些模型设置,比如TreeLSTM和MLP对效果的影响,这些部分就去看论文吧。