图片本文详细介绍 GECToR 这一优秀的文本纠错模型,使用 Transformer 编码器的序列标注器,以保证文本数据的质量,进而提升NLP模型的效果。 图片Omelianchuk, et al., 2020 中提出的 GECToR 模型,是非常优秀的文本纠错模型。 /grammarly/gector.git图片GECToR 提供了3种预训练模型。 ,我们把下载的模型权重移动到gector目录,以便后续使用:mv roberta_1_gectorv2.th . /gector/gector接下来,我们切换到gector文件夹下:cd .
本次评测,我们使用了Grammarly开源的GECToR[2]。 GECToR模型本质上是一个序列标注模型,它的解码空间是插入、删除、替换等编辑操作。 通过并行预测编辑并将其应用于原句子,GECToR模型能够完成长度可变的语法纠错。上述过程也可以多轮迭代进行,从而进一步提升修改效果。 参考资料汇总 https://github.com/DaDaMrX/ReaLiSe https://github.com/grammarly/gector https://huggingface.co/
GECToR另外两个亮点是引入了不同的预训练Transformer解码器(包括XLNet、RoBERTa、ALBERT、BERT和GPT-2)并进行了比较,以及采用了三阶段的训练方式。 在预测阶段,GECToR也是采用了多轮预测的方案。 GECToR--grammatical error correction: tag, not rewrite[J]. arXiv preprint arXiv:2005.12592, 2020.[10]
基于转换器的语法纠错模型GECToR(2020)被用作后处理步骤,以提高流利性。我们将我们的系统与(i)改进的指针生成器(SOTA)和(ii)针对factoid问题的微调DialoGPT进行比较。 A transformer-based Grammar Error Correction model GECToR (2020), is used as a post-processing step for
基于转换器的语法纠错模型GECToR(2020)被用作后处理步骤,以提高流利性。我们将我们的系统与(i)改进的指针生成器(SOTA)和(ii)针对factoid问题的微调DialoGPT进行比较。 A transformer-based Grammar Error Correction model GECToR (2020), is used as a post-processing step for