- 综合排序
- 最热优先
- 最新优先
大模型语料标注需要注意哪些？
一、语料类型 1.自采语料 2.商业语料 3.开源语料 二、抽检要求 1.人工抽检要求 具体做法:从全部语料中随机抽取不少于 4000 条语料:合格标准:合格率不应低于96%。 以此来保证语料在人工抽检环节的质量水平。 2.技术抽检要求 结合关键词、分类模型等技术进行抽检抽样数量:从全部语料中随机抽取不少于总量 10%的语料。 合格标准:抽样合格率不应低于98%，保障技术抽检的语料质量。 3. 评估技术规范要求 规范内容:评估采用的关键词库、分类模型应符合文件要求。 确保在使用关键词、分类模型等技术进行语料抽检时，所使用的工具和模型是符合既定规范和标准的，从技术层面保障语料安全评估的科学性和准确性。
30110编辑于 2025-09-04语料库构建与主动学习标注工具解析
大多数自然语言处理项目的成功关键取决于用于训练和评估模型的标注数据质量。本期节目中，某机构的Matt和Ines介绍了如何通过一款工具提升数据标注和模型开发工作流程。 该工具是一款基于Python库实现的标注工具，提供Web应用程序和命令行界面。 开发者可自定义输入数据流并设计简易标注界面，其核心能力包括：将复杂标注决策分解为系列二进制选择与某自然语言处理库实现无缝集成在主动学习框架中支持实时模型更新策略通过配方脚本（GitHub开源）实现工作流定制该方案通过动态调整模型训练流程 ，使系统能够根据新增标注数据持续优化模型性能，有效解决了传统标注工作中效率低下与一致性难题。
15710编辑于 2025-09-19- 来自专栏JasonhavenDai
人民日报标注语料库（PFR）1.标记说明2.格式说明3.例子4.生语料库和熟语料库5.其他语料库汇总
PFR语料库是对人民日报1998年上半年的纯文本语料进行了词语切分和词性标注制作而成的，严格按照人民日报的日期、版序、文章顺序编排的。 标号也作为一个词进行标注，词性固定为“m（数词）”。 一篇文章里面的段落之间是不空行的，在两篇文章之间，会有一个空行，表示文章的分界线，同时，下一篇文章的“篇章号-段号”都会有所改变。 正文部分按照规范已经切分成词，并且加上标注，标注的格式为“词语/词性”，即词语后面加单斜线，再紧跟词性标记。词与词之间用2个单字节空格隔开。每段最后的词，在标记之后也有2个单字节空格，保持格式一致。 如“通过/p [中央/n 人民/n 广播/vn 电台/n]nt 、/w”中，用“[ ]”合起来的部分是一个完整的机构团体名称，方括号后面紧跟标注nt，nt之后空两个单字节空格，保持了格式的一致 /w 4.生语料库和熟语料库 语料库中存放的是在语言的实际使用中真实出现过的语言材料，语料库是以电子计算机为载体承载语言知识的基础资源，真实语料需要经过加工
5.9K80发布于 2018-04-11 - 来自专栏机器学习与python集中营
【语料库】中文公开聊天语料库
该库搜集了包含 chatterbot 豆瓣多轮 PTT八卦语料 青云语料 电视剧对白语料 贴吧论坛回帖语料 微博语料 小黄鸡语料 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理，达到直接可以粗略使用的目的。 使用该项目，即可对所有的聊天语料进行一次性的处理和统一下载，不需要到处自己去搜集下载和分别处理各种不同的格式。 给出的语料原链接是为了说明该语料的原始出处是在哪里 环境 python3 处理过程 将各个来源的语料按照其原格式进行提取，提取后进行繁体字转换，然后统一变成一轮一轮的对话。 数据来源及说明 语料名称 语料数量 语料来源说明 语料特点 语料样例 是否已分词 chatterbot 560 开源项目 按类型分类，质量较高 Q:你会开心的 A:幸福不是真正的可预测的情绪。 否 xiaohuangji（小黄鸡语料） 45W 原人人网项目语料 有一些不雅对话，少量噪音 Q:你谈过恋爱么 A:谈过，哎，别提了，伤心..。
9.8K50发布于 2019-05-29 - 来自专栏明天依旧可好的专栏
原始语料库
第一步： 判断数据中是否存在重复数据 创建python文件– 代码框架 ''' author: kzb time: 2018-12-10 ''' import pandas as pd import os,csv dataPath = os.path.join("音译原始数据.csv") def import_data(dataPath): ''' 导入文件中的数据 return:dataFrame ''' pass def find_En_Cn_excess(dataFrame
99230发布于 2019-01-22 - 来自专栏机器学习AI算法工程
文本分类中语料库的获取——搜狗语料库
这次主要总结搜过语料库的获取，因为老师要求20万数据，而我自己只爬了2万多，所以用到了搜狗的语料库.
3.2K80发布于 2018-03-14 - 来自专栏全栈程序员必看
labelme图像标注_ai标注工具
然而如果是做语义分割的任务时，就不能只是标注框里，需要用另外一种工具labelme进行标注，本文对该工具的安装使用方法进行介绍。 点击open dir，选择标注文件所在的文件夹，然后开始标注。 注意标注的时候，假如你要标注的对象为人和狗，在画掩码过程中，一幅图像中如果有多个person、dog，命名规则为person1、person2…… dog1、dog2……。 因为labelme生成的标签为一个label.png文件，这个文件只有一通道，在你标注时同一标签mask会被给予一个标签位，而mask要求不同的实例要放在不同的层中。 （如果是做语义分割，则没必要如此区分） 标注完成后，会生成一个json文件 3 文件转换 标注完成后，我们得到原图和对应的 json 文件，需要转化成 colormap 标注图，在 labelme 项目中
1.8K20编辑于 2022-10-01 AI语料库智慧教学平台：用AI技术解锁语料教学新生态
而AI语料库智慧教学平台的出现，凭借前沿AI技术，把“智能语料导师”搬进课堂，让语料教学更精准、互动、可落地，彻底重构语言学习逻辑。核心技术之一是NLP语义检索与解析技术，这是平台的“语料导航大脑”。 、语法规则，甚至标注语用禁忌。 学生用平台进行语料仿写、翻译练习时，AI能实时批改：比如拼写错误、语法偏差会即时标注，用词不地道（如中式英语表达）会给出原生语料参考，甚至通过语音合成技术朗读标准例句，帮助学生感知语用节奏。 语料库智能更新与标注技术，保证资源的时效性和权威性。 同时，采用NLP自动标注技术，给语料打上语法点、场景、难度等标签，教师可直接按标签筛选素材，学生能按标签定向补短板，大幅降低语料整理和使用成本。
36910编辑于 2025-10-29- 来自专栏python与大数据分析
图像标注版本3-多标注框+标注标签
这个图像标注版本在前面多标注框基础上，增加了标注标签的选择，同时修正了一下之前绘制最后一个标注框的显示问题，现在看起来更像一个标注软件了。 参照labelImg的样式定义了一个自定义Dialog窗口，在这个窗口中加载了标注标签列表文件，同时这个标签是要必须选择的，或者取消。 对多标注框的代码重新做了优化，一个是关于正在绘制的标注框的显示问题，如果标签取消，则不予绘制，如果选择了标签才绘制出来 一、通过qt designer设计一个标签选择的自定义Dialog窗口 # - bboxlist中（bboxlist相对于2.0版本有所调整） 在绘制事件中，修正了对实时标注框的单独绘制 from PyQt5.QtWidgets import QWidget, QApplication 3.0版本') # 加载重定义的label self.lbl = MyLabel(self) # 构造QPixmap，加载待标注图片 img
73320编辑于 2023-09-03 语料智能·知识无界：AI 多功能语料库检索平台重塑语言研究新范式
语言研究进入智能检索新时代在全球化和数字人文研究蓬勃发展的背景下，传统语料库检索系统面临检索维度单一、多模态语料支持不足、深层语义关联缺失等核心挑战。 -检索-分析"四层技术架构：多模态语料处理引擎实现文本、语音、图像的统一表征学习；深度语义检索模型支持基于意图理解的智能检索；知识图谱关联系统构建语料间的语义网络；可视化分析平台提供丰富的语料数据洞察能力 数据安全与版权保护体系针对语料资源的版权敏感性，建立全方位保护机制：访问权限控制实现分级分权的语料访问；数字水印技术保护语料版权；操作日志审计追踪所有检索行为；数据脱敏处理在保护隐私的前提下开放研究。 持续进化路径未来演进聚焦生成式语料分析与自适应学习能力：发展基于生成式 AI 的语料自动标注与摘要能力；构建能够根据研究者反馈持续优化检索策略的自适应系统；探索跨语言文化的深度对比分析，最终建成智能驱动 、不断进化的新一代语料库研究基础设施。
40610编辑于 2025-10-30- 来自专栏大数据与知识图谱
词性标注
—— 迈克尔·法拉第 词性标注简介 词性标注是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程，即把每个词标注其为名词、动词、形容词等。 词性标注最简单的方法是从语料库中统计每个词所对应的高频词性，将其作为默认词性，这种显然还有很大提升空间。 词性标注规范 词性标注将一个个词标注成名词、动词、形容词、副词等，需要用字母标记，如“n”，“v”，“a”，“d”。 北大标准/中科院标准 词性编码 词性名称 注解 ag 形语素 形容词性语素。 (非北大标准，CSW分词中定义) 基于jieba的词性标注 前面说过jieba的分词功能，这块主要涉及jieba的词性标注功能。 类似其分词流程，jieba的词性标注也是结合规则和统计的方式，其在词性标注过程中，词典匹配和HMM（隐马尔科夫模型）共同作用。
1.9K10编辑于 2022-05-31 - 来自专栏大内老A
ASP.NET MVC基于标注特性的Model验证：一个Model，多种验证规则
，RuleName属性表示规则名称。 然后我们根据三个Action方法采用的验证规则输入不合法的年龄，然后点击“保存”按钮，我们会看到输入的年龄按照对应的规则被验证了，具体的验证效果如下图所示。 ? 上下文来保存这个这个验证规则名称。 具体的筛选机制是：如果当前的验证规则存在，则选择与之具有相同规则名称的第一个ValidatorAttribute，如果这样的ValidatorAttribute找不到，则选择第一个没有指定验证规则的ValidatorAttribute ；如果当前的验证规则没有指定，那么也选择第一个没有指定验证规则的ValidatorAttribute。
1.1K110发布于 2018-01-15 - 来自专栏全栈程序员必看
词性标注
4.10 词性标注 词性用来描写叙述一个词在上下文中的作用。比如描写叙述一个概念的词叫做名词，在下文引用这个名词的词叫做代词。有的词性常常会出现一些新的词，比如名词，这种词性叫做开放式词性。 把这个问题抽象出来就是已知单词序列 ，给每一个单词标注上词性 。 不同的语言有不同的词性标注集。比方英文有反身代词，比如myself，而中文则没有反身代词。 比如《PFR人民日报标注语料库》中把”形容词”编码成a；名词编码成n；动词编码成v等。 词性标注有小标注集和大标注集。比如小标注集把代词都归为一类，大标注集能够把代词进一步分成三类。 人称代词：你 我 他 它 你们 我们 他们 疑问代词：哪里 什么 怎么 指示代词：这里 那里 这些 那些 採用小标注集比較easy实现，可是太小的标注集可能会导致类型区分度不够。 參考《PFR人民日报标注语料库》的词性编码表，如表4-4所看到的： 表4-4 词性编码表 代码 名称 举例 a 形容词 最/d 大/a 的/u ad 副形词 一定/d 可以/v 顺利/ad
88620编辑于 2021-12-23 - 来自专栏python与大数据分析
图像标注版本2-多标注框
在网上能看到的图像标注版本多是图像标注版本1的代码，但图像标注不仅只保存一个标注框，通常都是多个标注框，而且要把这些标注框信息记录下来，当然代码也是在网上找到的，做了一些改动。 多标注的秘诀就在于增加一个bboxList列表，记录每次释放鼠标时的起始结束位置以及其他信息，在绘制事件中，将过往的bboxList存储的点位信息重新绘制出来。 self.x1 = 0 self.y1 = 0 self.rect = QRect() self.flag = False # 增加一个存储标注框坐标的列表 initUI(self): self.resize(960, 540) self.move(100, 50) self.setWindowTitle('Label标注框 2.0版本') # 加载重定义的label self.lbl = MyLabel(self) # 构造QPixmap，加载待标注图片 img
49330编辑于 2023-09-04 - 来自专栏python与大数据分析
图像标注版本1-基本标注框
由于某种需要，本人需要开发一款数据标注工具，也尝试过阅读Labelme和LabelImg代码，但无奈水平有限放弃了，最后决定借鉴其标注界面和思想。 此外图像标注，之前试过simpleGUI，但交互性有点弱，决定用pyqt5重构一下，图像标注主要包括图像文件夹的选择，图像的预览，图像标注框选，图像标注Label选择，图像标注结果存储，甚至图像的放大缩小 第二个版本，最常见到的图像标注，多个标注框显示在图片上 第三个版本，实现了标注Label的选择，并且将结果保存下来 第四个版本，实现了基于当前位置双击后，被标注框的高亮显示和删除 第五个版本，对标注框结果进行各种类型的保存 这个图将以后作为标注的基准图片。 鼠标点击及按下意味着初始坐标 鼠标移动记录标注的动作，可以画也可以不画 鼠标释放记录标注框的终点 图像绘制事件中，主要交换了一下标注框的坐标，网上很多是错的，导致标注结果不对。
82620编辑于 2023-09-04 - 来自专栏无原型不设计
摹客iDoc标注：自动标注一键生成，手动标注自由补充
为什么标注需要「自动+手动」？ 手动标注到自动标注，在设计界是有一个演化的过程的。 以前呢，设计师都是老老实实地手动做标注，密密麻麻，细细碎碎......自动标注的出现，可以说是把设计师从不堪重负的状态下解放了出来。 那有了自动标注就OK了吗？NO！ 其一，标注可能缺失。 5、区域标注 可以标注任意区域的尺寸信息，在准确标注了图标的占位大小后，就不会因为尺寸不匹配而出现图标被拉伸的情况了。 ? 此外，定稿模式中还支持自定义标注的线段类型、线宽、文字颜色、透明度，又快又简单。 开发模式：自动标注+手动标注完美呈现 开发工程师可按需自由查看标注信息，手动标注可选择开启或关闭。 4、在开发模式查看标注「自动+手动」，获取标注信息 自动标注在上传设计稿后自动生成，手动标注在定稿模式中生成，两者在开发模式下都可以直接查看。
1.4K20发布于 2019-06-14 - 来自专栏众森企服
大模型备案指导|最新生成式人工智能服务安全要求
1）标注人员方面：①应自行组织对于标注人员的安全培训，培训内容应包括标注任务规则、标注工具使用方法、标注内容质量核验方法、标注数据安全管理要求等；②应自行对标注人员进行考核，给予合格者标注上岗资格，并有定期重新培训考核以及必要时暂停或取消标注上岗资格的机制 ，考核内容应包括标注规则理解能力、标注工具使用能力、安全风险判定能力、数据安全管理能力等；③应将标注人员职能至少划分为数据标注、数据审核等；在同一标注任务下，同一标注人员不应承担多项职能；④应为标注人员执行每项标注任务预留充足 2）标注规则方面：①标注规则应至少包括标注目标、数据格式、标注方法、质量指标等内容；②应对功能性标注以及安全性标注分别制定标注规则，标注规则应至少覆盖数据标注以及数据审核等环节；③功能性标注规则应能指导标注人员按照特定领域特点生产具备真实性 、准确性、客观性、多样性的标注语料；④安全性标注规则应能指导标注人员围绕语料及生成内容的主要安全风险进行标注，对本文件附录A中的全部31种安全风险均应有对应的标注规则。 3）标注内容准确性方面：①对功能性标注，应对每一批标注语料进行人工抽检，发现内容不准确的，应重新标注；发现内容中包含违法不良信息的，该批次标注语料应作废；②对安全性标注，每一条标注语料至少经由一名审核人员审核通过
1.4K10编辑于 2024-08-20 - 来自专栏利炳根的专栏
学习笔记CB007:分词、命名实体识别、词性标注、句法分析树
基于条件随机场命名实体识别方法属于有监督学习方法，利用已标注大规模语料库训练。 命名实体的放射性。命名实体的前后词。 特征模板，当前位置前后n个位置字/词/字母/数字/标点作为特征，基于已经标注好语料，词性、词形已知。特征模板选择和具体识别实体类别有关。 大量已标注语料库训练，选择合适训练用数学模型，概率图隐马尔科夫模型(HMM)适合词性标注基于观察序列标注情形。 隐马尔可夫模型参数初始化。 每个词所有可能词性，已有词表标记，词表生成方法简单，已标注语料库，很好统计。生成概率初值设置0。 规则词性标注方法。既定搭配关系上下文语境规则，判断实际语境按照规则标注词性。 词性标注自动校对。不需要人参与，直接找出错误标注修正，适用一个词词性标注通篇全错，数据挖掘和规则学习方法判断相对准确。大规模训练语料生成词性校对决策表，找通篇全错词性标注自动修正。 句法分析树生成。
1.9K110发布于 2018-03-11 利用无标注数据提升序列标注技术
利用无标注数据改进序列标注虚拟对抗训练（VAT）是一种通过向无标注数据添加噪声来生成难以分类的训练样本，从而改进机器学习系统的方法。 然而，VAT不太适用于序列标注任务，即输入短语中的每个词都需要被分配单独的标签。这主要是因为VAT难以与条件随机场（CRF）集成，而CRF对于序列标注任务的最先进性能至关重要。 在实验中，使用半监督学习（即少量标注训练数据辅以大量无标注数据）在三个不同序列标注任务上，将该系统与四个性能最佳的前置方法进行了比较。在八个不同数据集上，该方法全面优于所有四个基线。 传统的对抗训练是一种监督学习技术：向标注训练样本添加噪声以使其更难分类，并根据机器学习系统预测标签的效果进行评估。VAT将这种方法扩展到半监督学习，旨在利用无标注数据。 首先，在标注数据上训练模型；然后，向大量无标注数据添加噪声，并进一步训练模型，使其对带噪声无标注数据的分类与对干净数据的分类尽可能一致。这种方法依赖于聚合统计数据的比较——干净数据和噪声数据的分类。
25410编辑于 2025-08-23- 来自专栏深度学习|机器学习|歌声合成|语音合成
标注工具：parselmouth（歌声合成语音合成标注）
文章目录 Parselmouth install 画图 音高处理 Parselmouth Parselmouth Parselmouth是praat的python接口。 论坛讨论地址：https://groups.google.com/g/parselmouth install $ pip install praat-parselmouth 画图 import parselmouth import numpy as np import matplotlib.pyplot as plt import</
1.2K20发布于 2021-01-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号