- 综合排序
- 最热优先
- 最新优先
- 来自专栏木东居士的专栏
数据质量监控
本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能，但是它确实至关重要的。 文章结构 数据质量监控的意义和价值就不再谈了，本文主要讨论下面三个主题： 数据质量监控要做哪些监控内容 该怎么做 数据校验 文中会涉及到数据仓库其它的一些知识点，请参考之前的文章。 0x01 什么值得你监控 我把数据质量分成三部分来理解： 监控 告警 多数据源 重点在监控，这点会展开来讲，多数据源这一块是因为在大数据场景下，我们有太多的开源组件来选择，很多组件的数据都需要监控，而且每个都不一样 元数据系统：数据质量监控本来也算是元数据系统的一部分，我们这分开来讲，但是无论如何，在配置表的告警信息时，还是要和元数据系统结合的。 ? 下面会分开来分析一下这几个组件。 0xFF 总结 本篇主要分享了一些和数据质量监控相关的内容，有一些泛泛而谈的感觉，但是理清思路后很多实现起来也是很简单的， 想做个简单能用的出来，用python半天就能搞定。
3.5K60发布于 2018-05-25 - 来自专栏木东居士的专栏
数据质量监控
数据，最终是要服务于业务价值的，因此，本文不会单纯讲解理论，而是会从数据质量监控这一数据的应用为出发点，为大家分享居士对数据质量的思考。 通过本文，你将获得如下几方面的知识点： 数据质量核心关注的要点 从数据计算链条理解，每一个环节会出现哪些数据质量问题 从业务逻辑理解，数据质量监控能带来的帮助 实现数据质量监控系统时要关注的点 数据质量监控面临的一些难点和解决思路 0x02 数据处理各环节的数据质量 数据质量监控之所以难做，是因为在数据的各个环节都会出现数据质量的问题。因此，本节将以一个典型的数据处理链条为例，为大家分享在每个阶段容易出现哪些数据质量问题。 0x04 如何实现数据质量监控 前面分享了数据质量关注的点，以及从技术和业务角度会如何关注数据质量，本节将简单地分享一下如何实现数据质量监控。这里将分两个角度：宏观的设计思路和技术实现思路。 一、设计思路 数据质量监控的设计要分为四个模块：数据、规则、告警和反馈。 数据：主要是需要被数据质量监控到的数据，数据可能存放在不同的存储引擎中，比如Hive、PG、ES等。
6.5K94发布于 2019-04-24 - 来自专栏微信终端开发团队的专栏
Matrix IOCanary -- IO 质量监控
IOCanary 是一个在开发、测试或者灰度阶段辅助发现 I/O 问题的工具，目前主要包括文件 I/O 监控和 Closeable Leak 监控两部分。 通过使用 IOCanary ，可以快速发现常见的 I/O 问题，提高开发质量。 文件 I/O 监控 ---- 一、原理简介 IOCanary 将收集应用的文件中所有 I/O 信息并进行相关统计，再依据一定的算法规则进行检测，发现问题，将之上报到 Matrix 后台进行分析展示。 小结 ---- 本文主要介绍了 Matrix 系统中的 I/O 质量监控部分：IOCanary 。 优点为： 接入简单，代码无侵入 性能、泄漏全面监控，对 I/O 质量心中有数 兼容到 Android P 关于 Matrix ---- Matrix 当前已开源， 开源地址为：https://github.com
3.4K21发布于 2019-01-07 - 来自专栏JD的专栏
数据质量监控系统设计
一.数据质量监控指标 数据完整性检测 数据完整性：主要用于记录数据缺失的程度，可以分为数据条目缺失与数据字段值缺失。 可以通过以下步骤堆数据一致性进行监控： 基于数据探查规则，筛选需要监控的数据表，与数据字段。 设置源表与结果表之间的关联项，用于匹配源表与结果之间的字段值是否一致。 二.质量监控系统实施 1.数据接入阶段 验证数据文件是否符合接入规范。 验证文件中是否为空文件。 验证文件中关键字段的数据值是否合规。 三.数据质量监控产出物 数据质量报告： 根据数据质量指标与评估规则，对数据质量的相应指标数据进行分析，最后得出各个评估规则的百分比得分。使用合理的方法进行设置规则的权重。然后对规则进行打分。 最后得出数据质量报告。
3.8K3410编辑于 2024-04-12 - 来自专栏全栈程序员必看
数据质量监控Griffin——使用
一、环境 生产环境 数据质量监控griffin： 地址：http://XXXXXXXXX:4200/#/health 账号：admin 密码：123456 二、Griffin是干什么的？ 官方介绍 大数据模块是大数据平台中数据方案的一个功能组件，Griffin（以下简称Griffin）是一个开源的大数据数据解决质量模式，它支持所有数据和流数据方式检测质量模式，可以从不同维度（不同标准执行完毕后检查源端和目标端的数据数量是否一致 在格里芬的架构中，主要分为定义、测量和分析三个部分，如下图所示： 各部分的职责如下： Define：主要负责定义数据质量统计的维度，比如数据质量统计的时间跨度、统计的目标（源端和目标端的数据数量是否一致
79220编辑于 2022-08-31 - 来自专栏鹅厂网事
开放共建，智能监控——itango网络质量监控系统
为了能够帮助全球网络工程师提供更优质的解决方案，更好地解决日常工作中的问题和服务支持业务团队，我们在itango平台中实现了轻量、易用的网络质量探测能力，能够支持网络质量监控和异常快速定位等多种功能场景 在多云环境的质量对比、新项目交付的质量测试，以及网络亚健康的优化等场景中，网络工程师都需要根据网络监控指标进行相应的网络调优； 在多云环境中，网络工程师可以通过对比不同云服务提供商的网络性能 这可能包括网络设备的故障、网络拥塞、网络安全问题等； 总的来说，无论是在多云环境的质量对比，新项目交付的质量测试，还是网络亚健康的优化，网络工程师都需要根据网络监控指标进行精细的网络调优，以确保网络的稳定运行和优良性能 在2023年上半年进行联合试点，在包括腾讯业务所在数据中心在内的多个IDC均部署常态化的质量监控。 图6 实际监控到质量情况 ● 网络变更案例： 2022年9月与另一地运营商同学进行试点，使用itango平台对该省骨干设备的替换割接进行监控。
3K40编辑于 2023-09-28 - 来自专栏数据科学与人工智能
数据质量监控的那些事
本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能，但是它确实至关重要的。 文章结构 数据质量监控的意义和价值就不再谈了，本文主要讨论下面两个主题： 数据质量监控要做哪些监控内容 该怎么做 文中会涉及到数据仓库其它的一些知识点，请参考：http://dantezhao.com/ 0x01 什么值得你监控 我把数据质量分成三部分来理解： 监控 告警 多数据源 重点在监控，这点会展开来讲，多数据源这一块是因为在大数据场景下，我们有太多的开源组件来选择，很多组件的数据都需要监控，而且每个都不一样 元数据系统：数据质量监控本来也算是元数据系统的一部分，我们这分开来讲，但是无论如何，在配置表的告警信息时，还是要和元数据系统结合的。 ? 下面会分开来分析一下这几个组件。 0xFF 总结 本篇主要分享了一些和数据质量监控相关的内容，有一些泛泛而谈的感觉，但是理清思路后很多实现起来也是很简单的， 想做个简单能用的出来，用python半天就能搞定。
3.1K61发布于 2018-02-28 - 来自专栏字节流动
如何监控实时语音的质量
5 月 13 日，声网Agora 音频算法工程师赵晓涵将在「Agora Talk 直播课」中介绍声网实时语音质量监控系统的进展，并和大家交流一下未来演化的方向。现在扫码就可以报名参与交流。 ? 议题：实时语音质量监控系统的过去、现在和未来 ?直播时间：5月13日（周四） 晚 8:00 ??? 主讲人：赵晓涵 声网Agora 音频算法工程师 赵晓涵，毕业于北京理工大学信息工程/通信工程专业，加入声网后先后开发过SOLOX系列编解码器和一些基于深度学习的语音信号处理项目，目前主要负责实时语音质量监控系统的算法研究和开发 演讲内容简介： 随着QoE评价体系的发展，RTE行业内越来越希望能够有一套实时反映用户主观体验的评估系统，声网从去年开始了音频部分的实时质量评估方法的研究，并逐渐摸索出了整个音频链路上各个环节的异常监控方法论 ，本次Agora Talk旨在介绍一下声网实时语音质量监控系统的进展，并和大家交流一下未来演化的方向。
4.7K20发布于 2021-06-09 - 来自专栏腾讯云可观测专栏
CDN 服务质量监控最佳实践
作者：黄小龙，腾讯云云监控高级工程师 前言 什么是 CDN? CDN 质量监控： 利用 CDN 加速网站后，CDN 对我们来说就是一个黑盒，不能仅仅依靠 CDN 厂商的监控数据来衡量 CDN 的服务质量。那么怎么去衡量 CDN 的质量就成为了瓶颈。 CDN 监测案例 定义好了 CDN 的衡量指标，下一步就是对 CDN 加速进行监测，需要构建一个平台来对 CDN 的服务质量进行监控，并能够通过对比分析，告警等手段对 CDN 质量进行持续跟进保障。 从以上的步骤来看，构建一个核心监控系统来监控 CDN 服务质量显得有点困难，也可以选择一些现有的监控平台对 CDN 服务质量进行监控，下面是介绍利用腾讯云云拨测对 CDN 质量进行监控。 通过云拨测可以很快的构建 CDN 监测的平台，利用工具能够快速达到 CDN 服务质量优化的目的。 联系我们 若有任何问题可扫码联系云监控小助手，我们将竭诚为您服务！ 点击阅读原文可详细了解云拨测。
4.4K41发布于 2021-10-18 - 来自专栏测试开发技术
服务质量保障之性能监控
什么是性能监控，以及性能监控的对象有哪些。 伴随着突发流量、系统变更或代码腐化等因素，性能退化随时会发生。 性能监控通常包括对系统资源的监控，如CPU、内存、磁盘、网络等，以及对应用程序的监控，如响应时间、吞吐量、并发数等。 性能监控对象 性能监控的对象包括计算机系统、网络、应用程序等，主要分为以下几类： 服务器：包括物理服务器和虚拟服务器，监控服务器的CPU、内存、磁盘、网络等资源使用情况。 云服务：包括云中间件、云数据库等，监控其资源使用情况、网络延迟等指标。 通过对这些对象进行性能监控，可以及时发现问题，提高系统的性能和可用性。 性能监控指标是用于衡量系统或应用程序性能的量化指标。 除了 P99分位数，常用的耗时分位数还包括 P99.9、P95、P90、P50分位数，可以根据应用接口的重要性和服务质量承诺（SLA）选择适当的分位数进行监控和预警。
88210编辑于 2024-03-11 - 来自专栏张叔叔讲互联网
如何实现画像标签的数据质量监控
保证标签数据质量是画像平台建设不可或缺的一个重要环节，只有保证产出高质量的标签，画像平台上的功能才有价值，这也是人群圈选准确性和画像分析结论有效性的前提和基础。如何通过工程化的方式评估一个标签的质量？ 画像平台常见的是数据产出时间监控，如果重要标签数据产出时间有延迟，需要及时发出告警很多例行任务依赖性别标签数据，需要严格监控性别标签产出时间，当产出时间晚于预期时及时报警唯一性度量数据记录是否重复、数据属性是否重复 业界有一些开源的数据质量监控框架和解决方案。Apache Griffin，起源于eBay中国，于2016年进入Apache孵化器，支持批处理和流模式两种质量检测方式，可以从不同维度检测数据质量。 DataWorks是阿里云重要的平台产品，提供了数据集成、开发、质量检测和数据服务，其中质量检测包括数据探查、对比、质量监控、SQL扫描和智能报警等功能。 DataMan是美团开发的大数据质量监控平台，可以对大数据做技术性和业务性的质量检测，并形成完整的数据质量报告和问题跟踪机制。
91310编辑于 2023-10-10 - 来自专栏Spark学习技巧
数据质量监控框架及解决方案总结
Deequ(Amazon开源数据质量监控平台) Deequ 是亚马逊开源的一个构建在 Apache Spark 之上的库，用于定义“数据单元测试”，用于测量大型数据集中的数据质量。 数据质量依托DataWorks平台，提供全链路的数据质量方案，包括数据探查、对比、质量监控、SQL扫描和智能报警等功能。 数据质量监控可以全程监控数据加工流水线，根据质量规则及时发现问题，并通过报警通知负责人及时处理。 数据质量以数据集（DataSet）为监控对象。 在流式数据场景下，数据质量能够基于DataHub数据通道进行监控和断流，第一时间告警给订阅用户。数据质量支持设置橙色、红色告警等级和告警频次，最大限度地减少冗余报警。 四. DataMan(美团点评数据质量监控平台) DataMan系统建设总体方案基于美团的大数据技术平台。自底向上包括：检测数据采集、质量集市处理层；质量规则引擎模型存储层；系统功能层及系统应用展示层等。
2K40编辑于 2022-04-18 - 来自专栏暴走大数据
数据质量监控框架及解决方案总结
Deequ(Amazon开源数据质量监控平台) Deequ 是亚马逊开源的一个构建在 Apache Spark 之上的库，用于定义“数据单元测试”，用于测量大型数据集中的数据质量。 数据质量依托DataWorks平台，提供全链路的数据质量方案，包括数据探查、对比、质量监控、SQL扫描和智能报警等功能。 数据质量监控可以全程监控数据加工流水线，根据质量规则及时发现问题，并通过报警通知负责人及时处理。 数据质量以数据集（DataSet）为监控对象。 在流式数据场景下，数据质量能够基于DataHub数据通道进行监控和断流，第一时间告警给订阅用户。数据质量支持设置橙色、红色告警等级和告警频次，最大限度地减少冗余报警。 四. DataMan(美团点评数据质量监控平台) DataMan系统建设总体方案基于美团的大数据技术平台。自底向上包括：检测数据采集、质量集市处理层；质量规则引擎模型存储层；系统功能层及系统应用展示层等。
4.3K60编辑于 2022-04-01 - 来自专栏BigDataplus
数据质量监控好，数据开发背锅少
数据质量迭代流程： 强化数据质量意识 首先，数据存在人为干预或加工的过程就会存在数据质量问题，为减少人为失误或系统故障，所以数据须对数据质量监控； 其次 因此，每周周会增加一个议题统计数据质量问题情况：数据质量监控计划、触发数据问题统计、数据问题修复迭代计划和数据问题复盘等，从监控计划、数据问题发现、数据质量问题修复跟进形成一个提升数据质量闭环。 识别数据质量问题途径： 配置数据质量监控规则，主动识别数据质量问题，及时响应修复，尽量避免或减少数据故障问题发生； 数据质量逐级下传由终端数据消费者识别，用户体验不友好。 数据监控覆盖场景 离线报表 准实时报表 实时大盘 数据服务推送 算法依赖 数据分析依赖 其他（ftp file推送、olap下载，业务库数据推送） 数据质量QC监控规则覆盖 必须任务级监控项 可见数据质量好坏是数据最要的属性之一，数据质量监控能不以人的意志为转移地识别超出认知的是否有数据质量问题，数据质量监控好，数据开发背锅少。
1.5K10编辑于 2022-11-30 - 来自专栏用户8715145的专栏
高质量的应用性能监控 性能监控可以捕捉哪些错误
一个高质量的应用性能监控是能够确保应用，可以通过合适的追踪和监测来按照预计的设想顺利进行。所有的企业在使用应用性能软件都是为了给用户提供满意的服务，让用户对于应用的满意度达到最高值。 在企业使用性能监控系统时，能够让应用的所有运行状态处在软件的监控之中，维持在可控的范围内，可以及时处理问题。那么一个高质量的应用性能监控还应该有哪些核心功能呢？ 高质量的应用性能监控 高质量的应用性能监控应该可以自定义可视化视图，也就是以更清晰的方式展现应用的运行状态。要有精准定位的根因服务，可以对应用做到报错分类、主机、接口以及其它的分析等等。 应用性能监控的作用是不可小视的，一个高质量的监控系统更是企业所需要的。 性能监控可以捕捉哪些错误 应用性能监控的目的就是监控应用产生的错误和异常并及时进行报警和处理解决。它可以捕捉哪一类的错误呢？ 一个高质量的应用性能监控在这些功能方面，会表现出更佳的质量。 以上就是高质量的应用性能监控的相关内容，性能监控能够很好地帮助系统和企业扶持应用的稳定性。
58630编辑于 2021-11-30 - 来自专栏腾讯云可观测专栏
网络质量监控 - 守好入口第一关
主要负责腾讯云业务层监控相关产品策划，拥有丰富 toB 全栈研发经验，对应用开发、监控、运维、CICD 等方面有深刻理解。 为什么需要网络质量监控？ 网络质量作为用户与企业服务之间的最后一公里，作为一个不可控的外部变量，企业往往缺乏有效的监控手段。故而导致网络问题带来的用户流失，企业甚至无法有效地感知和衡量，造成直接经济损失。 网络质量监控中的痛点 网络质量作为服务可用的第一关，对用户体验影响深远，而监测网络质量的方式其实并不复杂。一台 PC，通过 Ping、Dig、Telnet 等简单的命令行指令，就能快速发现网络问题。 企业希望靠自身能力，建立全面覆盖的网路质量监控，即便对于头部互联网大企业，也存在极高的门槛。 腾讯云拨测如何帮你监控网络质量？ 1. 广泛分布探测点 - 全面覆盖多种网络环境。 腾讯云拨测丰富的网络资源，可以覆盖99%的用户接入方式和网络环境，真正做到无死角监控 。 [点击查看大图] 2.
1.3K20编辑于 2022-03-28 - 来自专栏用户6296428的专栏
数据中心数据质量线上监控的实践
本文主要分享有赞针对离线和实时数据做的一些监控实践，当前商家数据基本在7点前完成产出，所以线上监控规则大多是7点开始调度，为了更早的发现问题，我们也开始做业务层表（kylin）构建完成后触发监控。 章节分为5块：1.有赞的数据流图 2.离线数据（批处理）的线上监控详解 3.实时数据（流处理）的线上监控详解 4.线上监控效果 5.后期规划。 ，其中接口返回指标数值>0判断和deadline告警为线上监控，也是接下来着重介绍的。 2、线上监控规则的实现 针对不同层级数据，所有线上监控覆盖面参考下图：（实圈为覆盖项，空圈为无交集项） ? 五、后续规划 在数据质量线上监控实践中，仍有一些事项没有去落地，比如告警影响面评估、数据质量监控大盘等。 【数据质量监控大盘】BI报表承接了元数管理平台的监控统计，而当前监控涉及多个平台，需要对各平台的监控数据做实时聚合统计，会涉及指标设计、实时任务、前后端的开发。
1.3K30发布于 2021-07-20 - 来自专栏漫途科技
如何监控每一个产品的生产质量？
依靠人工检测不仅精度达不到要求而且检测效率很低，从而严重制约了产品的质量与产量。 产品在线测量是对产品生产过程中的监测，是为确保生产过程处于受控状态，对直接或间接影响产品质量的生产、安装和服务过程所采取的作业技术和生产过程中的分析，诊断和监控。 透过外加数据采集模块或数据撷取卡，可以最具成本优势的方式让每一个产品都获得监控。 产品在线测量系统主要实现产品全生命周期管理，提供可视化生产质量看板，优化加工过程，降低加工成本，实现自动故障模式、产品质量问题、质量风险预测等多种数据统计分析，实现不合格产品分析，为不合格产品成因、工艺改进提供客观依据
42630编辑于 2023-01-11 - 来自专栏大数据成神之路
Apache Griffin+Flink+Kafka实现流式数据质量监控实战
env.addSource(consumer); flink业务处理，这一块由于所处的业务不同，我只是简单demo以下，以20%的概率修改数据使之成为异常数据用于检测，这是为了模拟业务中可能对数据处理有误而发生数据质量问题
1.7K30编辑于 2022-04-13 - 来自专栏运维监控日志分析
Zabbix MTR 链路质量检测 主备链路监控
– sent包的数量 Last – 最后一个包的延时 Avg – 所有包的平均延时 Best – 延时最小的包 Wrst – 延时最大的包 StDev – 标准偏差 zabbix config 监控项
3K30发布于 2020-08-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号