- 综合排序
- 最热优先
- 最新优先
- 来自专栏全球技术精选
【系统设计】指标监控和告警系统
在本文中，我们将探讨如何设计一个可扩展的指标监控和告警系统。一个好的监控和告警系统，对基础设施的可观察性，高可用性，可靠性方面发挥着关键作用。 下图显示了市面上一些流行的指标监控和告警服务。 面试官：如果让你设计一个指标监控和告警系统，你会怎么做？ 小明：好的，这个系统是为公司内部使用的，还是设计像 Datadog 这种 SaaS 服务？ 面试官：很好的问题，目前这个系统只是公司内部使用。 小明：我们想收集哪些指标信息？ 面试官：包括操作系统的指标信息，中间件的指标，以及运行的应用服务的 qps 这些指标。 另外，整体的系统也有较高的要求，要考虑到可扩展性，低延迟，可靠性和灵活性。 基础知识 一个指标监控和告警系统通常包含五个组件，如下图所示 1. 数据收集：从不同的数据源收集指标数据。 2. Grafana 可以是一个非常好的可视化系统，我们可以直接拿来使用。 总结 在本文中，我们介绍了指标监控和告警系统的设计。
2.3K20编辑于 2022-09-05 - 来自专栏开源心路
数据中台-指标系统
造成上述问题的根源是因为指标口径不一致，而你要构建全局一致的指标口径，输出企业的指标字典。 二.指标混乱状态 核心指标进行了全面的盘点和梳理，为的就是解决指标口径不一致的问题。 四.指标系统 指标系统是基于元数据中心构建的一个指标管理工具，它从元数据中心自动同步数仓的主题域和业务过程，按照规范化定义创建指标。 五.基于指标系统构建全局的指标字典 构建全局的指标字典分为两个场景： 一个是面对一个新的指标需求，如何基于指标系统完成指标开发流程； 另外一个是面对已经存在的，混乱的指标现状，如何进行全局梳理。 ； 按照指标系统对指标的规范化定义，把整理好的指标录入指标系统。 小结 数据中台直接产出的核心指标必须实施强管理，由数据中台团队的专人或者小组负责，最好是数据产品经理的角色。 指标的管理必须结合系统 + 规范的治理方法，明确每个角色的职责，通过系统化的方法实现。
1.6K30编辑于 2023-06-30 - 来自专栏hotarugaliの技术分享
推荐系统常用评价指标
AUC AUC: Area Under ROC Curve，同目标检测中的 AUC 指标。
1.9K20编辑于 2023-05-16 - 来自专栏AI系统
【AI系统】关键设计指标
接下来我们将从 AI 芯片关键设计指标的角度来进一步拓展对 AI 计算体系的思考。 计算单位 市场上当一款 AI 芯片产品发布时候，经常会通过一些指标数据说明产品的能力，比如芯片制程，内存大小，核心数，带宽，算力等，这些指标体现了 AI 产品的核心竞争力。 AI 芯片设计的目标是低成本高效率的执行 AI 模型，所以衡量 AI 芯片的关键指标涉及 AI 模型软件应用层面的指标和 AI 芯片硬件市场竞争力指标两个方面，展开如下： 精度 Accuracy 在 系统价格 Cost 价格是市场选择 AI 产品时的重要考量指标。对搭建一个 AI 系统来说，要综合考虑硬件成本以及与之相关的系统集成和全栈生态系统的成本。 系统集成上下游全栈等成本：除了硬件本身的成本外，还需要考虑与 AI 芯片相关的系统集成和全栈生态系统的成本。这包括软件开发、算法优化、系统集成、测试验证、软件支持等方面的成本。
55510编辑于 2024-12-04 - 来自专栏服务端技术杂谈
系统性能指标
都在谈论高并发，但是高并发系统的指标有哪些呢？ QPS，TPS可以表明系统的吞吐； TP90可以表明系统的响应时间； 吞吐量重要参数：QPS（TPS），并发数，响应时间 QPS（TPS）：每秒request/事务 数量 并发数：系统同时处理的request Collections.sort(times); return times.get(index); } 0.99 * 3 = 2.97 取整为3 第三个值为100ms 之后我们可以设置这个指标作为监控阈值
1.7K30发布于 2018-07-23 - 来自专栏秋枫学习笔记
动手实现推荐系统评价指标
. / len(user_pred[u][0]) return score / len(user_pred.keys()) 选择topk评价指标 def topk_metrics(y_true, y_pred
75630编辑于 2022-09-19 - 来自专栏知一杂谈
分布式系统常用指标
性能指标 吞度量 响应延迟 P95 P999 并发量 可用性指标 可提供的服务时间 / (可提供的服务时间 + 不可提供的服务时间) 请求成功次数 / 总请求次数 可扩展性指标 是否能实现水平扩展，通过增加服务器数量增加计算能力 存储系统中有两种扩展方式： Scale Out（也就是Scale horizontally）横向扩展，比如在原有系统中新增一台服务器。 一致性指标 实现多副本之间一致性的能力。不同的应用场景对于数据一致性指标要求不同，需要根据场景做具体的评估。
43110编辑于 2021-12-07 操作系统重点监控指标
IPMI 可用于监控硬件的物理参数，如系统温度、风扇速度、电源电压等，可以有效地利用 IPMI 监控硬件温度、功耗、启动或关闭服务器和系统，以及进行日志记录。 IPMI 的一个主要亮点是，它的功能独立于服务器的 CPU 和操作系统。因为固件是直接在服务器主板上运行的，所以不管安装的操作系统是什么，它都可以用于管理各种远程位置的服务器。 Categraf 是插件架构，采集 CPU 指标的是 cpu 插件，采集内存指标的是 mem 插件，采集进程指标的是 procstat 插件，每个插件都有一个配置目录，在 conf 目录下，以 input 而和 CPU 采集相关的配置实际只有一个，就是 collect_per_cpu，它用于控制是否采集每个单核的指标。默认值是 false，表示不采集单核的指标，只采集整机的指标。 硬盘 IO 相关的指标，主要关注读写延迟，所谓的 IO.UTIL 这种指标基本不用太关注。
42310编辑于 2025-02-01- 来自专栏腾讯移动品质中心TMQ的专栏
推荐系统相关效果评测指标总结
三、评测方案指标总结 对于不同的推荐系统评测方式，我们需要使用不同的指标对其进行衡量： 1、模型离线实验 离线实验目的旨在对算法进行评价，所以评价指标强相关与所使用的推荐算法，传统的评分预测问题通常使用均方根误差 有些推荐系统也会像推荐广告系统或是学习排序算法一样使用pCTR或者Precision-Recall曲线评估推荐效果的优劣，所以评测推荐算法的指标较为复杂。 准确性指标： 推荐的准确度是评价推荐算法最基本的指标，在推荐系统中常用的准确度指标分为4类：预测评分准确率、预测评分关联性、分类准确率以及排序准确率。 2、ABtest在线实验 ABtest在线试验目的为根据线上真实用户指标数据对不同的算法进行评测，那么ABtest系统的评测指标就是线上真实用户数据指标，例如DAU、CTR、PV、UV、阅读时长、评论量 . 【3】朱郁筱,吕琳媛.推荐系统评价指标综述[J].电子科技大学学报,2012.
9.7K31发布于 2018-12-25 - 来自专栏云云众生s
使用Thanos和Kubernetes构建指标系统
指标是任何分布式系统中可观测性的支柱，在 Kubernetes 环境中，Prometheus 通常是……的工具。 本文探讨了如何在 Kubernetes 上使用 Thanos 构建一个健壮、可扩展且有弹性的指标系统，涵盖从设置到最佳实践的方方面面。 Thanos 和 Kubernetes 指标系统到底是什么？ 使用 Thanos，您不仅仅是收集指标；您正在构建一个弹性系统，它允许您在分布式环境中存储和访问指标，而无需像以前那样独立管理多个 Prometheus 实例。 使用 Thanos 和 Kubernetes 构建的指标系统的组件 Thanos 不仅仅是一个工具——它是一套组件，它们协同工作以创建一个功能齐全的指标系统： Thanos Sidecar: 它与每个 当您有多个 Kubernetes 集群或区域并希望拥有统一的指标系统时，这尤其有用。
82410编辑于 2024-09-25 - 来自专栏panzhixiang
监控系统的四个黄金指标
最近被问到一个问题，是关于监控系统的4个黄金信号（也被称为黄金指标）的，不太记得了，看了一些资料，做个笔记。 来源 监控系统的4个黄金指标来源于《SRE：Google运维解密》这本书的第六章 分布式系统的监控。 这一章讲了为什么要监控，黑盒监控与白盒监控，4个黄金指标，长尾问题，度量指标时应该采用合适的精度以及监控系统的长期维护这些问题，基本上构建一个监控系统比较重要的几个方面都有讲到。 应用这四个指标时需要注意的内容 延迟 监控 P50、P95、P99 等不同百分位数的延迟，以更全面了解系统性能。 应当区分成功请求和失败请求的延迟，以便更准确地诊断问题。 关注指标的分布而不是平均值 关注监控指标的分布而不是单纯的平均值，这是因为平均值往往不能全面反映系统的实际性能和用户体验，特别是在存在高可变性或异常的情况下。
1.3K10编辑于 2024-10-30 - 来自专栏量化投资与机器学习
【Python量化投资】趋向系统指标策略 ADX、DMI指标用于股票池（附源码）
[什么是ADX] ADX(average directional indicator) 平均趋向指数，常用的趋势衡量指标。 通常与趋向系统（DMI）一起使用，利用多空趋向之变化差离与总和判定平均趋势，ADX数值不能显示趋势的发展方向。 但是如果趋势存在，ADX可以衡量趋势的强度。
5K60发布于 2018-01-29 - 来自专栏漫漫架构路
系统常用指标经验值（持续更新）
系统常用指标经验值（持续更新） 一. 数据库相关 MySQL 单实例，读写 QPS 通常只有千级别（3000～6000），经过优化的查询语句，在性能较好的机器上，读 QPS可接近 1w。
90810发布于 2020-09-07 - 来自专栏运维开发故事
系统性能指标：洞察系统运行的关键脉搏
为了实现这一目标，我们需要关注系统性能监控指标，洞察系统运行的关键脉搏。本文将从指标分类、指标详细说明等方面介绍系统性能监控指标的相关知识，帮助你更好地理解和应用这些关键数据。 指标分类：多维度看系统性能 指标其实非常多，在公司就监控管理的人更能体会，动不动就是成千上万的指标，不仅管理的人头皮发麻，看的人也头皮发麻（当然，可能跟具体的公司业务有关）。 、吞吐量、错误率等 用户体验指标 衡量用户在使用系统时的体验和满意度，包括页面加载时间、页面渲染时间、交互响应时间等 业务指标 衡量系统对业务的贡献，包括销售额、转化率、市场份额等。 指标详细说明：深入解析具体的指标 基础设施指标 类型 指标 说明 服务器 CPU 利用率 CPU 在某一时刻内的使用率，通常以百分比表示，高 CPU 利用率可能会导致系统响应缓慢或崩溃。 总结 本篇文章主要是从广义上来定义系统的性能指标，主要包括： 基础设施指标 应用程序指标 用户体验指标 业务指标 其他指标 image.png 但是整体还是比较空泛，因为落地到每个公司会进行调整和适配
75031编辑于 2023-05-01 - 来自专栏冰河技术
系统性能优化的关键指标（yyds）！！！
衡量指标 对于性能优化来说，衡量的指标有很多，大体上可以分为：性能指标、响应时间、并发量、秒开率和正确性等。我们可以使用下图来表示这些衡量指标。 ? 接下来，我们就分别说明下这些衡量指标。 性能指标 性能指标又可以包含：吞吐量和响应速度。我们平时所说的QPS、TPS和HPS等，就可以归结为吞吐量。有很多小伙伴可能对于QPS、TPS和HPS等不太了解，我们先来说下这几个字母的含义。 这些都是与吞吐量相关的衡量指标。 平时我们在做优化工作的时候，首先要明确需要优化的事项。比如：我们做的优化工作是要提高系统的吞吐量？还是要提升系统的响应速度呢？ 并发量 并发量指的是系统能够同时处理的请求数量，反映的是系统的负载能力。 我们在对高并发系统进行优化的时候，往往也会在并发量上进行调优，调优方式也是多种多样的，目的就是提高系统同时处理请求的能力。 除非必要,一开始不要优化(尤其是开发阶段) 有些优化准则已经过时,需要考虑当下的软硬件环境(不要墨守成规) 不要过分强调某些系统级指标,如cache 命中率,而应该聚焦性能瓶颈点 不盲从，测试、找到系统的性能瓶颈
88430发布于 2021-08-13 - 来自专栏小小挖掘机
推荐系统研究中常用的评价指标
“ 本文主要介绍了推荐系统中常用的评价指标，包括评分预测指标，集合推荐指标，排名推荐指标以及多样性和稳定性等。” 本文来源：苏一 https://zhuanlan.zhihu.com/p/67287992 整理了一下过去大半年中所看推荐系统相关文献中出现过的评价指标，如果大家发现有本文遗漏的评价指标欢迎在评论区中指出 目录 一、概述 二、常用的评估指标 三、其他的评估指标 ---- 一、概述 自推荐系统研究开始以来，对预测和推荐结果的评估一直都是十分重要的环节，一个推荐算法的优劣直接体现在其在这些评估指标上的表现。 ，它度量的是推荐系统对一个用户的实用性也即是用户真实评分和系统默认评分值的差别。 由此得到推荐新颖性指标： ? 式中Zu表示推荐给用户u的n个item集合 「2.稳定性」 预测和推荐的稳定性会影响用户对RS的信任，如果一个推荐系统提供的预测在短时间内没有发生强烈变化，则它是稳定的。
3.7K10发布于 2020-03-09 - 来自专栏Datawhale专栏
评价一个推荐系统的指标详解！
作者：太子长琴，Datawhale成员 本文主要从整体角度介绍推荐系统，先介绍了推荐系统定义与系统架构等背景，然后详细说明如何评价一个推荐系统。 ? 定义中的函数在推荐系统中一般被称为 “推荐系统模型”。 推荐系统架构 提到 “系统”，那自然是个有机整体，其中一般会包括多个组成部分。 推荐系统评价方法 推荐系统的评价涉及到多个方面，除了机器学习相关的指标外，还有大量工程、甚至产品和运营方面的指标。 1.用户偏好/满意度 评价系统好坏最直接的方法是让用户投票，选择票数高的。 或者也可以通过一些间接指标来衡量，比如购买率、停留时长、转化率等。 具体指标包括： 1.均方根误差 RMSE（Root Mean Squared Error）： 其中，T 是测试集，u 和 i 分别表示用户和商品 Item，r 表示评级。
1.4K20发布于 2021-07-30 - 来自专栏Debian中国
Grafana 6.4.4 发布，系统指标监控与分析平台
Grafana 6.4.4 发布了，Grafana 是一个功能丰富的指标标准仪表板和图形编辑器，用于分析和监控 Graphite、Elasticsearch、OpenTSDB、Prometheus 和
62330发布于 2020-01-21 - 来自专栏繁依Fanyi 的专栏
性能指标详解：系统运行的乐章
什么是性能指标？ 性能指标就像是一台交响乐团中的不同乐器，各自发挥着独特的作用，共同创造出和谐的音乐。在计算机科学和软件工程领域，性能指标是用于衡量系统运行表现的标准或参数。 无论是个人电脑、移动应用，还是庞大的服务器系统，都需要通过性能指标来评估其运行效能。 响应时间：用户等待的旋律 首先，让我们沉浸在响应时间的旋律中。 这个指标就像是一首轻快的旋律，直接关系到用户等待的时间。响应时间是指用户发起请求到系统作出响应的时间。 并发用户数：系统的交响乐团 接下来，我们踏进并发用户数的音乐殿堂。这个性能指标犹如一场交响乐团的演奏，展现着系统抗压的能力。并发用户数是指系统能够同时处理的用户请求数量。 无论是系统设计者还是用户，都可以通过理解和优化这些性能指标，共同感受性能交响乐的魅力。希望这篇博客为您打开了性能指标的音乐之门，愿您的系统运行如交响乐般和谐美妙！
30110编辑于 2024-02-03 - 来自专栏Elastic Stack专栏
RAG评估指标：指标之旅
我们将深入探讨该领域常用的一些指标，并解释 Elastic 为有效监控模型性能所做的决策。N-gram 指标在这一系列指标中，主要思路是检查生成文本与“真实答案”的相似程度。 由于这些原因，研究人员尝试寻找改进的指标。内在指标困惑度（PPL）困惑度（通常缩写为 PPL）是评估语言模型（LLMs）的最常见指标之一。计算困惑度需要访问模型生成的每个词的概率分布。 由于这些缺点，NLP 社区探索了更高级的外在指标来解决这些问题。基于模型的指标内在指标和 N-gram 指标的一个显著缺陷在于它们没有利用语义理解来评估生成内容的准确性。 基于模型的指标被认为是解决这一问题的更有前途的解决方案。 这是当你拥有一个评估指标时最先想到的问题。它是预测 LLMs 质量的有效工具吗？
1.2K22编辑于 2024-12-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号