- 综合排序
- 最热优先
- 最新优先
- 来自专栏Soul Joy Hub
中文文本纠错模型
中文文本纠错任务是一项NLP基础任务，其输入是一个可能含有语法错误的中文句子，输出是一个正确的中文句子。语法错误类型很多，有多字、少字、错别字等，目前最常见的错误类型是错别字。 1. 得到各个字符错误的概率G = (g1，g2，…，gn)，其中g在0-1之间，越靠近1表示该字符错误的概率越大，其损失函数为： soft-masked 作者认为只hard-mask了15%字符的Bert不完全具备纠错的能力 ://github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 3. ErnieCSC Ernie参阅：https://blog.csdn.net/u011239443/article/details/121820752? spm=1001.2014.3001.5502 ErnieCSC PaddleNLP模型库实现了百度在ACL 2021上提出结合拼音特征的Softmask策略的中文错别字纠错的下游任务网络，并提供预训练模型
1.9K40编辑于 2022-05-10 - 来自专栏自然语言处理
中文文本纠错任务简介
任务简介 中文文本纠错是针对中文文本拼写错误进行检测与纠正的一项工作，中文的文本纠错，应用场景很多，诸如输入法纠错、输入预测、ASR 后纠错等等，例如： 写作辅助：在内容写作平台上内嵌纠错模块，可在作者写作时自动检查并提示错别字情况 ，该类错误主要是由于对语言不熟悉导致的如多字、少字、乱序等错误，其错误片段相对较大； 3、知识类错误，该类错误可能由于对某些知识不熟悉导致的错误，要解决该类问题，通常得引入外部知识、常识等。 支持中文音似、形似、语法错误纠正，python3开发。 ，检查其中是否存在保留短语，如果不存在，那么它是拼写错误的短语 参考资料 中文纠错（Chinese Spelling Correct）最新技术方案总结 中文文本纠错算法--错别字纠正的二三事 中文文本纠错算法走到多远了 中文输入纠错任务整理 nlp 中文文本纠错_百度中文纠错技术 中文拼写检测（Chinese Spelling Checking）相关方法、评测任务、榜单 中文(语音结果)的文本纠错综述 Chinese
3.1K21编辑于 2022-10-28 - 来自专栏机器学习AI算法工程
中文文本纠错算法实现
文本纠错又称为拼写错误或者拼写检查，由于纯文本往往来源于手打或者OCR识别，很可能存在一些错误，因此此技术也是一大关键的文本预处理过程，一般存在两大纠错类型。 1.拼写错误 第一种是Non-word拼写错误，表示此词汇本身在字典中不存在，比如把“要求”误写为“药求”， 2.少字多字 中文文本纠错比较难，不多说。 3.加载 数据库.txt 和 编辑距离.txt 4 输入一个错误单词（句子分词得到的单词，或者单独一个错误单词），计算编辑距离，生成编辑距离词集。 本文代码 获取： 关注微信公众号 datayx 然后回复 纠错 即可获取。 AI项目体验地址 https://loveai.tech 代码： 1导入包 和标点符号 ? #得到的是各单词词频,如：{‘老师上课’: ‘3’, ‘老师傅’: ‘62’, ‘老师宿儒’: ‘老师上课’: ‘3’, ‘老师傅’: ‘62’, } ? 3.读取编辑距离.txt ? 4.
3.2K20发布于 2020-07-03 - 来自专栏智能文本处理
中文语法纠错全国大赛获奖分享：基于多轮机制的中文语法纠错
但由于中文具有的文法和句法规则比较复杂，基于深度学习的中文文本纠错在实际落地的场景中仍然具有推理速度慢、纠错准确率低和假阳性高等缺点，因此中文文本纠错任务还具有非常大的研究空间。 达观数据在CCL2022汉语学习者文本纠错评测比赛的赛道一中文拼写检查（Chinese Spelling Check）任务中取得了冠军,赛道二中文语法纠错（Chinese Grammatical Error 该语法纠错的模型结构和解码流程如下图所示：图3 语法纠错流程图原始Seq2Edit模型是通过删除和插入两种操作来解决句子中的乱序错误，但是由于模型的训练和推理阶段存在暴露偏差，故对于连续字符的缺失错误， 本次评测中，我们对不同预训练模型训练的纠错模型进行加权集成以提升模型的准确率。此次参与模型集成的有Bert、MacBert和StructBert这3个预训练模型训练的6个Seq2Edit模型。 数据增强的流程如下所述： （1）数据预处理：对句子进行预处理并掩码掉非中文字符、人名和地名等字符位置； （2）采样设错位置：确定对句子进行设错操作的字符位置； （3）采样设错类型：确定当前字符位置的设错类型
1.5K12编辑于 2022-12-22 - 来自专栏自然语言处理
中文文本纠错工具推荐:pycorrector
音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。python3开发。 本项目重点解决其中的谐音、混淆音、形似字错误、中文拼音全拼、语法错误带来的纠错任务。 出品的fairseq，北京语言大学团队改进ConvS2S模型用于中文纠错，在NLPCC-2018的中文语法纠错比赛中，是唯一使用单模型并取得第三名的成绩 transformer模型：全attention MacBert模型 基于MacBert预训练模型的纠错 示例macbert_demo.py，详细教程参考README 模型下载 下载fine-tune后的预训练MacBert MLM模型-密码QKz3， Todo 优化形似字字典，提高形似字纠错准确率 整理中文纠错训练数据，使用seq2seq做深度中文纠错模型 添加中文语法错误检测及纠正能力 规则方法添加用户自定义纠错集，并将其纠错优先度调为最高
3.5K20编辑于 2023-08-25 - 来自专栏深度学习自然语言处理
CCL2022 中文语法纠错评测
近年来，中文语法纠错任务越来越受到关注，也出现了一些有潜在商业价值的应用。 同时，由于中文语法纠错任务相对复杂、各评测任务以及各数据集之间存在差异，在一定程度上限制了语法纠错的发展。 如表3中所示，原句在两个维度均有多个语法纠错的参考答案。 赛道四：语法纠错质量评估（Quality Estimation），是评价语法纠错模型修改结果质量的方法[2]。 该分数可以通过句子级别和词级别的质量评估分数得到[3]，可以对语法纠错系统生成的多个纠错结果进行重新排序，以期望进一步提升语法纠错效果。 3) 赛道四要求语法纠错结果重排序过程中只能对所提供的语法纠错候选进行重排序，不得混合其他语法纠错模型所提供的语法纠错结果。 4) 不允许将开发集加入到训练数据中。
4K20编辑于 2022-05-18 - 来自专栏素质云笔记
中文文本纠错算法走到多远了？
-高粱 中文拼音全拼，如 xingfu-幸福 中文拼音缩写，如 sz-深圳 语法错误，如 想象难以-难以想象 目前来看，纠错算法分为两个方向：基于规则、深度模型 规则的解决思路 中文纠错分为两步走，第一步是错误检测 百度纠错的整体框架： ? 其中核心的关键步骤为： 1 错误检测 2 候选召回 3 纠错排序 1 错误检测： 先定位，一句话中哪些可能是错误的！ ? 2 候选召回 ? 步骤为，输入句子，然后检测句子中可能的错误点，根据两者在亿级别的数据上进行文本召回，候选对齐 3 纠错排序 召回了一堆，应该怎么选，W&D模型 ? 三大核心技术 ? 语言知识、模型 ? 从一个月的query logs中，随机抽取3w条query，分别抓取baidu网页搜索纠错结果和自身纠错结果， 取两个纠错结果的并集共3.1k，进行人工标注，其中有200条存在关联纠错，作为实验的数据集合 小明NLP 提供中文分词, 词性标注, 拼写检查，文本转拼音，情感分析，文本摘要，偏旁部首 https://github.com/SeanLee97/xmnlp 单词、短句效果：3/13 效果差 速度：
7.3K31发布于 2019-05-26 - 来自专栏腾讯技术工程官方号的专栏
基于语义关联的中文查询纠错框架
和英文纠错相比，中文纠错面临的问题更为严峻. 首先，中文term之间没有分隔符，不能使用term本身进行错误识别，必须依赖于上下文。 其次，中文的输入法类型较多，除了拼音还有五笔等字形输入法，再加上无线设备屏幕和键盘都很小，手写设备和语音输入都很频繁，使得错误类型更多。 定义3：关联热度——两个关联资源共同被作用的频次。例如，两个被共同点击的次数，或者在web中出现在同一段话中的频次等。 关联挖掘 在实际项目中，关联数据一般从两个方面进行建设。 从一个月的query logs中，随机抽取3w条query，分别抓取baidu网页搜索纠错结果和自身纠错结果， 取两个纠错结果的并集共3.1k，进行人工标注，其中有200条存在关联纠错，作为实验的数据集合 抓取baidu网页搜索的纠错结果，主要是为了对比垂直纠错框架和网页搜索纠错效果进行对比，而baidu是中文网页搜索中最权威的。
5K102发布于 2018-01-26 - 来自专栏智能文本处理
全国中文纠错大赛达观冠军方案分享：多模型结合的等长拼写纠错
达观数据在CCL2022汉语学习者文本纠错评测比赛的赛道一中文拼写检查（Chinese Spelling Check）任务中取得了全国冠军,赛道二中文语法纠错（Chinese Grammatical Error 本文基于赛道一中文拼写检查任务的内容，对比赛过程中采用的一些方法进行分享，并介绍比赛采用的技术方案在达观智能校对系统中的应用和落地。赛道二中文语法纠错的获奖方案已经分享在达观数据官方公众号中。 如上图2所示，当一个句子存在多处错误（糊涂两个字都错了），纠错时会受到上下文的影响，也就是受到其他错误的影响导致难以纠错成功。纠错系统 如图3所示，纠错系统顾名思义是以一个系统流程的方式进行纠错任务。 P(W4|W1W2W3)表示前面三个词是W1W2W3的情况下第四个词是W4的概率。 W1W2W3...Wi-1称作历史，如果W共有5000个不同的词，i=3的时候就有1250亿个组合，但是训练数据或已有语料库数据不可能有这么多组合，并且绝大多数的组合不会出现，所以可以将W1W2W3..
2.9K41编辑于 2022-12-22 - 来自专栏深度学习自然语言处理
【论文解读】基于Transformer增强架构的中文语法纠错
论文介绍 论文名称：基于Transformer增强架构的中文语法纠错 论文作者：王辰成，杨麟儿，王莹莹，杜永萍，杨尔弘 发表于：第十八届中国计算语言学大会（CCL 2019） -ONE- 简介 语法纠错 由于中文语法纠错的训练语料过少，无法充分训练序列生成模型，我们提出了一种腐化语料的单语数据增强方法，能够有效的扩大训练集的规模，并进一步提升模型的纠错效果。 -THREE- 基于腐化语料的单语数据增强方法 互联网中存在着大量的中文单语数据，即完全正确的中文语句。在这些容易获取且完全正确的单语语料中，合理地添加错误，即可得到大量的语法纠错并行语料。 同时，我们与NLPCC2018中文语法纠错共享任务的前三名团队进行了结果的比较。'4 ens.'表示 4 个模型集成的结果，'LM'表示利用了额外的语言模型。 通过实验进一步验证了我们提出的模型增强与数据增强方法的有效性，在NLPCC 2018中文语法纠错共享评测任务上达到了最优的性能。
2.2K30发布于 2020-04-17 - 来自专栏大鹅专栏：大数据到机器学习
NLP任务之中文拼写 语法纠错 介绍与综述
中文文本纠错任务包括两部分，一方面是检测任务，一方面是纠正任务，必须同时正确检测到错误的位置并且完成纠正才能算完整的纠错。 3、 LM与ptm计算困惑度，选择困惑度最低的。2.2 端到端构建中文纠错系统的第二种方法是构建端到端的系统。 b) 中文纠错方法基本都是以字为基本单位，很大程度是因为以词为单位的话会引入分词模块的错误，但是可以用分词的结构来作为字的特征增强。 c) 目前中文纠错任务有两种类型的错误还没有很好的解决。 3. 3、 单字纠错的召回为roberta的top20加上3000个最常用汉字，然后用LM和roberta算句子困惑度打分。
5K144编辑于 2022-07-20 - 来自专栏字根中文校对软件
在线中文文字纠错错别字检测云服务
在线中文文字纠错错别字检测云服务 JCJC人工智能错别字检测系统( cuobiezi.net )上线已经15个月了。 2018年，我们几位小伙伴准备推出：在线中文文字纠错云服务 ， 主打功能是： 错别字检测 。 希望在2018年里，能不负所托，用更低的价格，服务更广大的用户。 2018年，我们会努力做的更好！
9.4K30发布于 2019-02-14 - 来自专栏HyperAI超神经
错字修改 | 布署1个中文文文本拼蟹纠错模型
By 超神经 内容一览：中文文本错误的种类之一为拼写错误，本篇文章为利用 BART 预训练方法实现中文文本纠错功能的模型部署教程。 关键词：BART 中文拼写纠错 NLP 中文文本错误3大障碍：拼写、语法、语义 中文文本纠错是当前自然语言处理领域的一个重要分支，旨在针对中文文本错误等进行检测与纠正。 中文拼写纠错示例 该任务通常不涉及添/删字词，只涉及替换 输出的句子一般是等长的 2. 3. 语义错误： 由于对某些知识不了解，或语言组织能力欠缺导致的知识及逻辑错误，如「一年有 3 个季度--一年有 4 个季度」。 本文中，我们将以最常见的拼写错误为例，演示如何借助 BART 模型，进行中文文本纠错模型部署。
1.2K20编辑于 2022-11-29 - 来自专栏龙首琴剑庐
ECC（指令纠错） 内存
什么是ECC内存 对于大多数企业来说，消除数据损坏是一项关键任务——这正是 ECC（纠错码）内存的目的。 ECC 是一种指令纠错技术，能够检测并纠正常见的各种内存数据损坏情况，即Error Checking and Correcting。 是什么导致错误？ 内存错误是电脑内部的电磁干扰造成的。 在将数据写入到内存时，ECC 内存使用附加位来存储加密代码，同时存储纠错码（Error Correcting Code）。 读取数据时，会将存储的纠错码与读取数据时生成的纠错码进行比较。
5.8K10发布于 2019-12-16 - 来自专栏烟草的香味
纠错码简介
这个时候, 纠错码出现了. 简单介绍一下, 其中所有有关数学的内容的去掉了, 毕竟太高深, 咱也不懂. 思考 因为计算机传输中只存在0和1, 所以可以简单将其类比为数字. 但是, 如果只是通信间传输几k的数据还好, 如果下载一个1G的电影, 为了纠错, 需要你耗费10G的流量下载10遍, 你能接受么? 方案二 方案一被pass了. 既然多次传输不行, 又该如何是好呢? 至此, 其实纠错的任务已经接近完成了. 通过数据的冗余, 已经可以将出错的概率降低到很小了. 方案三 能否使用更少的数据来进行纠错呢? 下面介绍的就是了, 一种称为校验和的手段. 计算第三列校验和: 3+5+3+3=14, 个位为4. 将5-2, 得到预测的原始数字3. 然后在计算第二行的校验和是否为0. 完成纠错. 最后将纠正后的正确的数字从中取出来. 这种纠错方式被称为: 二维奇偶校验码. ---- 计算机硬盘, 网络通信等都有着纠错码的身影, 它保证了数据的传输可靠. 在TCP的每个包中都存在校验和内容, 若校验出错, 则包会被直接丢弃.
1.1K30发布于 2020-05-14 - 来自专栏生信喵实验柴
组装结果纠错
常用纠错工具：medaka，pilon，racon，nanopolish，nextpolish 等，可以利用三代测序进行纠错，也可以加入二代数据进行纠错。 数据结果为纠错后的 contig 序列。一般 racon 纠错也可以进行多轮，一般3轮纠错。 mkdir racon #连接原始拼接结果 DRAFT=.. minimap2 -t 4 racon_round2.fasta ${READ} > round_3.paf racon -t 4 ${READ} round_3.paf racon_round2 .fasta> racon_round3.fasta #将最终结果修改为样品名 mv racon_round3.fasta MGH78578.fasta 五、如何对一个物种做全基因组鉴定或者对植物做全基因组测序 第一步背景调研：查资料该物种是否测过序，若测过，技术上有无突破； 第二步基因组大小：查资料、近源参考序列等；（2G） 第三步测序方案：至少要测（2x30倍=60G或者200倍=400G）；3代测序
2.8K20编辑于 2022-10-25 - 来自专栏Soul Joy Hub
ASR文本纠错模型
文本纠错任务是一项NLP基础任务，其输入是一个可能含有错误字词的句子，输出是一个正确的中文句子。ASR（语音识别）文本的错误类型很多，有多字、少字、错别字、同音近音字等等。 1. ://github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 3. ErnieCSC Ernie参阅：https://blog.csdn.net/u011239443/article/details/121820752? spm=1001.2014.3001.5502 上述模型考虑到了文本错字进行纠错，但在中文ASR的场景下，很多情况是由于中文拼音读音相同或相近导致的识别错误。 ErnieCSC PaddleNLP模型库实现了百度在ACL 2021上提出结合拼音特征的Softmask策略的中文错别字纠错的下游任务网络，并提供预训练模型，模型结构如下： PyTorch实现版本
3.3K20编辑于 2022-11-30 - 来自专栏API百科
基于机器学习的纠错系统技术 - 智能文本纠错 API
引言在过去的几十年里，文本纠错技术已经取得了巨大的进展，从最初的基于规则的纠错系统到现在的基于机器学习的纠错系统，技术的发展已经帮助人们解决了大量的文本纠错问题，随着机器学习技术的发展，文本纠错技术也发生了重大变化 基于机器学习的文本纠错系统通常分为两个主要部分：语言模型和纠错算法。 纠错能力智能文本纠错技术是针对字词错误、标点、地名、专有名词、敏感信息、意识形态等进行智能校对，具体的纠错能力如下：图片应用场景当前的基于机器学习的智能文本纠错 API 已经非常成熟，并且广泛应用于各种领域 "data": data, "crossDomain": true}) .done(function(response){}) .fail(function(jqXHR){})3. 多余标点 3: 0/1 命名实体标志。
1.5K30编辑于 2023-04-28 - 来自专栏MatheMagician
纠错码与魔术（三）——汉明纠错码魔术初步
本系列前面两篇已经介绍了纠错码的基本原理和在魔术中的应用和一些魔术例子，相关内容请戳： 纠错码与魔术（二）——魔术《矩阵感应》等 纠错码与魔术（一）——纠错码与汉明码简介 在mathematical card magic书中，还有很多基于纠错编码中重要的一类——hamming编码的设计精良的效果，在此和大家分享。 于是当发生转换以后，5vs0的变成4vs1不影响；4vs1的变成5vs0仍然可以判别一个长为4单调序列中插入一张的情况，变成3vs2则二者不一致取长的保持；3vs2的如果变成4vs1则是长为3的单调序列插入一张 ，而2vs3则不一致的看长为2的，一致则直接一致，这里的3vs2编码和前面4vs1变来的竟然完全兼容。 ，中文“数学魔术师”，原指用数学设计魔术的魔术师和数学家。
79820编辑于 2023-01-30 - 来自专栏女程序员的日常
ECC检验与纠错
（3）数据从NAND读取时：ECC模块回去读取ECC签名，并对照相同与否来发现出现的错误。 2、 相比发现错误，修复接收到的数据错误更复杂。 （3）用生成的ECC算法来修复之前检测到的错误。 （3）当需要读取数据时，数据和ECC签名一起被送往主控制器，此时新的ECC签名被生成。 （4）此时主控把2个签名对照，如果签名相同，说明数据没有错误，数据就会被送往主机。
4.1K10发布于 2017-12-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号