- 综合排序
- 最热优先
- 最新优先
第七章 AI数据质量-2
7.5 样本数据快速扩充 数据增强是机器学习中的一项重要技术，用于生成大量高质量、多样化的训练数据集的方法。这种方法的出现背景主要是由于以下几个原因。 2.数据多样性：为了训练出泛化能力强的AI模型，需要具有多样性的训练数据。然而，现实世界中的数据往往存在偏差，这可能导致模型在某些场景下表现不佳。 水平翻转图像也可以用于增强面部识别等任务的数据集，其中同一人的图像可能来自不同的角度。 2.旋转：旋转图像可以用来创建不同角度旋转的新图像。 除了上述技术外，还有一些其他的图像增强技术，如对比度增强、直方图均衡化、局部对比度增强等，这些技术可以进一步提高图像增强的效果和质量。 VAE已被用于各种图像合成应用，包括生成新图像、图像插值和数据增强等。 2.StyleGAN StyleGAN是一种生成高质量图像的GAN，具有逼真的细节和多样的风格。
81710编辑于 2025-04-15- 来自专栏Chasays
音频质量评估-2
音频质量评估-1：之前主要学习了音视频的编码和解码原理，和测试音频质量的方法。接下来继续学习下当前 短视频 领域的 视频质量测试方法。 因此测试视频质量 在测试图片的质量就很重要了。测量两个图像之间的相似性的方法。SSIM指数可以看作是对被比较图像之一的质量衡量标准，前提是其他图像被视为质量完美。 Convert the images to grayscale grayA = cv2.cvtColor(imageA, cv2.COLOR_BGR2GRAY) grayB = cv2.cvtColor (imageB, cv2.COLOR_BGR2GRAY) # 5. VMAF python 库 - 提供完整的功能，包括运行基本的 VMAF 命令行、在一批视频文件上运行 VMAF、在视频数据集上训练和测试 VMAF 模型以及可视化工具等。
1.5K10编辑于 2021-12-06 - 来自专栏生信技能树-R
转录组数据—质量控制（数据质量评估，过滤低质量）
数据质量评估软件Fastqc图片(rna) Mar402 20:38:07 ~/project/Human-16-Asthma-Trans/data/rawdata #-t 6 同时对这6个文件进行质控 ,注意要在数据所在目录下$ fastqc -t 6 -o ./ SRR*.fastq.gzapplication/gzipapplication/gzipStarted analysis of SRR1039510 fastqc后报告结果带有fastqc结尾的文件，html为主要质控报告，网页版本，使用浏览器打开；zip里面是表格或者图片等·解压 *.fastqc.zip 得到pic1图片将质控报告下载至本地图片图片数据量统计方式图片数据质控 %Dups只要不超过80%即可图片图片图片图片图片过滤低质量是否需要过率低质量主要看--per base N content、sequence quality Histograms 、adapter content SRR1039510_2_val_2_fastqc.zipSRR1039510_1_val_1.fq.gz SRR1039510_2_val_2.fq.gz多个样本过滤低质量运行
2.1K10编辑于 2023-04-19 - 来自专栏木东居士的专栏
数据质量监控
而且，数据质量是数据分析和数据挖掘结论有效性和准确性的基础，也是这一切的数据驱动决策的前提！如何保障数据质量，确保数据可用性是每一位数据人都不可忽略的重要环节。 数据，最终是要服务于业务价值的，因此，本文不会单纯讲解理论，而是会从数据质量监控这一数据的应用为出发点，为大家分享居士对数据质量的思考。 通过本文，你将获得如下几方面的知识点： 数据质量核心关注的要点 从数据计算链条理解，每一个环节会出现哪些数据质量问题 从业务逻辑理解，数据质量监控能带来的帮助 实现数据质量监控系统时要关注的点 数据质量监控面临的一些难点和解决思路 0x02 数据处理各环节的数据质量 数据质量监控之所以难做，是因为在数据的各个环节都会出现数据质量的问题。因此，本节将以一个典型的数据处理链条为例，为大家分享在每个阶段容易出现哪些数据质量问题。 0x04 如何实现数据质量监控 前面分享了数据质量关注的点，以及从技术和业务角度会如何关注数据质量，本节将简单地分享一下如何实现数据质量监控。这里将分两个角度：宏观的设计思路和技术实现思路。
6.5K94发布于 2019-04-24 - 来自专栏木东居士的专栏
数据质量监控
本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能，但是它确实至关重要的。 文章结构 数据质量监控的意义和价值就不再谈了，本文主要讨论下面三个主题： 数据质量监控要做哪些监控内容 该怎么做 数据校验 文中会涉及到数据仓库其它的一些知识点，请参考之前的文章。 关键指标监控 数据同比环比监控 这是一些常用的监控，在后面会提到，我们可以做一个规则引擎，上面提到的都坐到规则里面，哪个表需要了就陪一下就行了。 2. 简单来讲，比如说数据同比环比，我们可以写一个presto的sql模板，来和历史数据进行对比，这种sql很简单，自己写好模板就行。 这种模板最简单，也最快，我相信能解决大部分问题。 2. 合理的任务依赖，比如说是重复数据监控，这点必然会依赖于数据是否到达，如果数据没达到就没必要执行重复数据监控的程序。 2.
3.4K60发布于 2018-05-25 强化数据质量
强化数据质量和来源控制- **数据筛选**：在训练大模型之前，应严格筛选和清洗数据，去除或标记不准确、有偏见或不真实的数据。 - **可靠来源**：优先使用来自可靠来源的数据，如经过同行评审的学术文章、官方报告等。### 2. - **持续学习**：根据用户反馈和新数据，不断更新和优化模型，以提高其输出的准确性。### 结论虽然大模型在处理和生成信息方面具有巨大潜力，但它们也带来了生成虚假信息的风险。
30600编辑于 2024-11-14- 来自专栏韩锋频道
“数据质量”入门
1).数据固有属性 真实性：即数据是客观世界的真实反映 及时性：即数据是随着变化及时更新的 相关性：即数据是数据消费者关注和需要的 2).高质量数据满足要求（消费者角度） 可得的，当数据消费者需要时能够获取到 2 评估维度 任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。常见的以下维度： 完整性 完整性，是指数据信息是否完整，是否存在缺失情况。 2).分析信息环境 细化已定义的业务需求，识别出业务需求与数据、数据规范、流程、组织和技术(如系统、软件等)之间的关联信息，定义信息生命周期，确定数据来源及范围。 2 处理问题流程 确定规则：数据质量指标 发现问题：数据质量检核 提出问题：质量问题告警 解决问题：质量问题分析 归纳问题：问题管理流程 3 主要功能模块 1).质量评估 提供全方位数据质量评估能力，如数据的重复性 2).检核执行 提供配置化的度量规则和检核方法生成能力，提供检核脚本的定时调度执行和第三方调度工具的调度执行功能。
1.5K21发布于 2019-07-16 【能力比对】数据质量管理VS数据质量平台
一、数据质量管理VS数据质量平台能力对比 1.1 数据质量管理-功能描述 AIIData数据中台数据质量管理，提供了全面的数据质量管理功能，包括数据质量报告统计、创建和执行质量任务、新增质量规则以及定时执行任务的设置等 1.2 数据质量平台-功能描述 AIIData数据中台的数据质量平台，基于开源项目DataVines构建，实现全流程质量闭环管控。 3.1.4 数据源支持 3.1.5 数据质量支持 3.2.1 数据质量平台-功能定位 数据质量平台（DataVines）是一款自动化数据质量检测与治理工具，通过技术手段实现数据质量规则配置、监控、问题告警与修复建议 3.2.2 数据质量平台-功能特点 ● 轻量化与开源生态作为一站式开源数据可观测性平台，数据质量平台（DataVines）具有低依赖性、易于部署的特点，支持快速搭建数据质量监控体系。 五、 应用场景适配数据质量管理在跨部门协作场景中（供应链数据共享），需明确数据所有者、生产者、消费者职责。通过数据质量管理模块，可定义数据质量规则的责任人，并设置跨部门协作流程。
55110编辑于 2025-05-06- 来自专栏用户1880875的专栏
MySQL高质量笔记2
Mysql服务端架构 Mysql服务端架构有以下几层构成： 1、 数据库管理系统（最外层）：DBMS，专门管理服务器端的所有内容 2、 数据库（第二层）：DB，专门用于存储数据的仓库（可以有很多个） 3 、 二维数据表（第三层）：Table，专门用于存储具体实体的数据 4、 字段（第四层）：Field，具体存储某种类型的数据（实际存储单元） 数据库中常用的几个关键字 Row：行 Column：列（field ） 数据库基本操作 数据库是数据存储的最外层（最大单元） 创建数据库 基本语法：create database 数据库名字 [库选项]; image.png 库选项：数据库的相关属性 字符集：charset 基本语法：show create database 数据库名字; image.png 选择数据库 为什么要选择数据库？ 因为数据是存储到数据表，表存在数据库下。如果要操作数据，那么必须进入到对应的数据库才行。
22020发布于 2021-08-26 - 来自专栏数据科学与人工智能
数据质量是什么
数据质量是对数据在特定应用场景下服务商业目的适应性的评估/评价。 数据质量包括这些方面： 准确性 完整性 时效性（更新状态） 关联性 一致性 可靠性 合理表示 可以访问 在一个公司或者组织内，可接受的数据质量对于运营或者事务处理或者商业分析/商业智能报告的可靠性至关重要 数据质量受数据产生/存储/管理的影响。数据质量保证是验证数据可靠性和有效性的过程。 要保证数据质量，需要定期查看和清理数据，通常这包括数据更新/标准化/删除重复记录以创建单个数据视图。 想加入数据人圈子，请加微信luqin360。 文章推荐： 人工智能系列文章 1 人工智能三大应用场景 2 人工智能政策 3 人工智能研究的中国力量 图片赏析： 数据质量管理
1.9K50发布于 2018-02-28 - 来自专栏程序你好
什么是数据质量？
高质量数据具有以下特性： 1、适合使用-正确和完整。 2、是对现实世界的真实反映。 3、它是可用的、一致的和可访问的。 数据质量可以根据以下维度进行测量： 1、完整性:是否有丢失或无法使用的数据 2、数据是否符合标准格式 3、一致性:数据值是提供一致的信息还是提供冲突的信息 2、数据量 数据量定义了分析所需的数据量。在数据质量计划开始时估计和评估数据量对于程序的成功是至关重要的。我们需要的数据是太少还是太多?观察的次数是多少?没有太多数据的缺点是什么? 为了消除人为错误和减少数据不准确，我们不得不依赖于各种技术和技术。我们需要遵循数据质量策略来保证数据的高质量。 如果它不符合模式，则对数据进行格式化以提供一致的值。 2、广义清理:消除数据中的错误和不一致的过程。
1.3K10发布于 2018-08-21 - 来自专栏大数据成神之路
所谓的数据质量
导读：随着大数据行业的深入发展，数据质量越来越成为一个绕不开的话题，那当大家在聊数据质量的时候，通常会聊什么呢？从什么是数据质量开始。 ? 数据质量：一个评估规则维度提供一种测量与管理信息和数据的方式。 数据数据质量的提升不是一蹴而就的，在清楚了解评估每一维度所需工作的情况下，选择那些当前较为迫切的检核维度和规则，从易到难、由浅入深的逐步推动数据质量的全面管理与提升。 如业务规则定义“性别”的取值应该是“1-未知的性别”、“2-男性”、“3-女性”、“4-未说明的性别”，如果出现“A”、“B”这样的取值，则认为“性别”的代码值域存在问题； 长度约束：描述检核对象的长度是否满足长度约束 例 2 : 货币代码 (CURCODE) 只应有RMB或是USD值。
2.2K20发布于 2021-06-01 - 来自专栏程序猿~
数据中台 - 数据质量维度
在做数据中台-数据质量的过程中，通过调研方法论，可以对数据质量技术类校验类型划分6大维度，这些维度如下: 数据质量6大技术质量维度 方法论依据: 数据资产管理实践白皮书4.0 质量维度 质量维度描述 表级内置 列级内置 完整性 数据是否缺失 表数据行数 字段为null或空字符串 规范性 数据是否按照要求的规则存储 身份证校验 邮箱校验 IP地址校验 电话格式校验 邮编格式校验 日期格式校验 空值或空字符串校验 数值格式校验 一致性 数据的值是否存在信息含义上的冲突 准确性 数据是否错误 字段平均值 字段汇总值 字段最大值 字段最小值 唯一性 数据是否是重复的 字段唯一值 字段重复值 时效性 数据是否按照时间的要求进行上传 前一天数据行数 《数据资产管理实践白皮书4.0》网上即有资源，如需使用，可以私聊。
76020发布于 2021-01-29 - 来自专栏BigDataplus
数据质量：数据治理的核心
数据质量控制方法论 提升数据质量需获取管理层的重视，在推动数据质量管理机制的建立，数据质量检测系统实现，数据质量文化的构建等方面，能获取更多资源。 2.建立数据链管理机制 数据生产者 源系统： 源系统数据录入界面施加更好的限制来杜绝数据质量问题。 数据管理者 制定数据质量标准和数据管控考核，分析数据质量问题和数据质量迭代整改计划制定和推动，数据使用的管理等等。 3.数据质量的检测和量化 数据质量检测系统 “工欲善其事,必先利其器”需对数据质量进行测量，就需要数据质量检测系统。 从数据质量系统设计和实现，再加上数据质量控制方法论，本文算是对数据质量问题有个较为完整的讲解。
2.6K30编辑于 2022-04-25 从0开始全面认识高质量数据集建设（2）
总体架构总体架构图基本示意图如下：一套标准，完善内部“高质量数据集”的标准规范根据上一篇文章中提到的《高质量数据集目录建设标准》、《高质量数据集质量管理标准》、《高质量数据集服务使用规范》、《高质量数据集管理制度 》，需要逐步构建起自己内部的高质量数据集标准规范，主要阶段及依据如下图所示：标准规范示例格式如下：展开代码语言：TXTAI代码解释1范围2规范性引用文件3术语和定义3.1模型3.2高质量数据集3.3元数据 3.4值域3.5数据标注4高质量数据集总体定义4.1高质量数据集内容框架4.2高质量数据集分类体系4.3高质量数据集分级要求4.4高质量数据集编目要求5行业通识数据集5.1XX数据集15.1.1基本信息 +高质量数据集特有属性高质量数据集目录的建设，并非是简单罗列数据集名称，而是包含信息资源分类分级属性+高质量数据集特有属性两大部分。 质量特征：从完整性、准确性、一致性、多样性、均衡性等维度刻画数据质量，将前文抽象的数据质量模型具象化，让每一份数据集的质量水平可量化、可评估，为模型训练前的数据选型提供明确依据，从源头保障模型训练的效果
60631编辑于 2026-02-11- 来自专栏生信小驿站
R 数据质量分析①
数据质量分析 数据质量分析是数据挖掘中数据准备的最重要一环，是数据处理的前体。数据质量分分析主要任务是识别脏数据。 常见的脏数据包括： 缺失值 异常值 不一致的值 重复数据或者包括特殊符号的数据 缺失值处理 处理数据缺失的一般步骤： 识别缺失数据 检测导致数据缺失的原因 删除包含缺失值的实例或用合理的数值代替（插补） TRUE TRUE [196] TRUE TRUE TRUE TRUE FALSE TRUE > is.na(a) 日期 销量 [1,] FALSE FALSE [2, 2. 缺失值处理 行删除法：数据集中含有缺失值的行都会被删除，一般假定缺失数据是完全随机产生的，并且缺失值只是很少一部分，对结果不会造成大的影响。 newdata<-na.omit(a) newdata<-a[complete.cases(a),] 删除含有缺失值的列 t(na.omit(t(a))) na_flag <- apply(is.na(a), 2,
1.4K10发布于 2018-08-27 - 来自专栏Python使用工具
提高数据质量的步骤
提高数据质量的步骤在进行数据分析和建模之前，数据清洗与预处理是至关重要的步骤。通过清洗和预处理数据，我们可以去除噪声、填补缺失值、处理异常值等，从而提高数据质量，确保后续分析的准确性和可靠性。 本文将介绍数据清洗与预处理的关键步骤，并分享一些实用的代码示例，帮助您掌握数据清洗和预处理的技巧，提高数据质量，为后续分析奠定坚实基础。第一部分：数据清洗的关键步骤1. 数据审查：- 进行初步的数据审查，了解数据集的基本信息，包括列名、数据类型、缺失值情况等。2. 处理缺失值：- 使用合适的方法填补缺失值，如均值、中位数、众数等，或根据上下文进行插值处理。 将Age和Salary列转换为数值型df['Age'] = pd.to_numeric(df['Age'])df['Salary'] = pd.to_numeric(df['Salary'])```2. 掌握数据清洗与预处理的技巧，能够为后续的数据分析和建模提供高质量的数据基础。希望本文对您在数据清洗与预处理方面的学习和实践有所帮助，祝您在数据分析的道路上取得成功！
68041编辑于 2023-10-08 - 来自专栏社区的朋友们
请拿数据说质量
一般来说，建议从质量数据相对稳定的产品开始，要确保指标数据能正确指导产品质量提升方向，如果指标数据波动较大，指标度量数据就无意义了。在建设过程中，指标建设Owner需要了解产品关键功能是什么？ 注意事项 （1）度量的数据范围(例如用户量小于某个值时，不进行度量); （2）特殊场景如何处理(例如非产品质量引起异常数据剔除逻辑); （3）每个指标项确认一名责任人; （4）Owner要预先准备度量方案 建立质量日报，度量月报，让数据能有效、客观的展现出来，一目了然发现产品质量哪些地方需要提升，同时制定异常数据响应机制。 注意事项 （1）卷入相关干系人，成立指标建设联合项目团队或专项攻坚团队，确定总Owner; （2）总Owner协调所需的资源与支持（如数据存储所需的资源、上报所需要的接口接入、跨部门合作等）; （3）上报通道正式启用前 注意事项 （1）确定产品规模达到什么量级启动指标数据考核，例如登录用户量、版本用户占比等; （2）从度量指标中选取需要提升的能力项进行考核; （3）确定考核周期及考核指标评分标准（即满分、及格、不及格）
1.1K20发布于 2017-12-07 - 来自专栏全栈程序员必看
数据质量监控Griffin——使用
一、环境 生产环境 数据质量监控griffin： 地址：http://XXXXXXXXX:4200/#/health 账号：admin 密码：123456 二、Griffin是干什么的？ 官方介绍 大数据模块是大数据平台中数据方案的一个功能组件，Griffin（以下简称Griffin）是一个开源的大数据数据解决质量模式，它支持所有数据和流数据方式检测质量模式，可以从不同维度（不同标准执行完毕后检查源端和目标端的数据数量是否一致 、源表的数据空值数量等）收集数据资产，从而提高数据的准确度、可信度。 在格里芬的架构中，主要分为定义、测量和分析三个部分，如下图所示： 各部分的职责如下： Define：主要负责定义数据质量统计的维度，比如数据质量统计的时间跨度、统计的目标（源端和目标端的数据数量是否一致 ，数据源里某一字段的非空的数量、不重复值的数量、最大值、最小值、top5的值数量等） 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/142891.html原文链接
78620编辑于 2022-08-31 数据质量决定AI命运
从2023年的"数据要素×"三年行动计划，到2024年的"人工智能+"行动，再到今年2月国家数据局组织27个部委召开高质量数据集建设工作启动会，政策层面的推进力度是空前的。 解密高质量数据集的三张面孔 很多人对数据集的理解还停留在"图片+标签"的层面，认为只要有数据就能训练AI模型。但实际上，高质量数据集远不止这么简单。 从数据模态来看，现代AI需要的是多维度的数据生态。 数据质量评估的新维度 传统的数据库质量管理，主要关注的是完整性、一致性、准确性等六性指标。但对于AI训练数据集来说，这些指标显然不够。 现代高质量数据集的质量评估，需要引入新的维度和方法。 我们不再只是关注数据本身的属性，而是关注数据对模型性能的实际影响。 中国信通院组织编制的《高质量数据集 数据质量评估方法》技术标准，为这个新阶段提供了重要的理论支撑和实践指导。 2025年，AI智能体和高质量数据集建设的双重推进，将把人工智能带入一个新的发展阶段。这个阶段的特征是数据质量成为决定性因素，技术创新与数据资源同等重要。
17010编辑于 2026-02-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号