嘉为蓝鲸全栈智能观测中心·鲸眼(以下简称“全栈智能观测中心”)作为腾讯大规模IT生产环境锤炼出的全栈智能观测中心,凭借一体化融合设计、开箱即用的信创生态支持、云原生监控能力以及本土化服务优势,正成为企业替代 2)Tivoli:多源技术组合,本土化适配受阻核心产品能力通过收购业界优秀公司实现技术组合,如系统应用监控产品ITM/ITCAM,收购自20多年前的Candle,Netcool系列产品(OMNIbus, 全栈智能观测中心旨在提供一个更现代化、更统一、更能开箱即用的全栈可观测平台,在大部分的监控场景中,全栈智能观测中心一个产品就能实现Tivoli三个子产品的效用:1)基础架构与组件监控全栈智能观测中心提供开箱即用的监控能力 2)虚拟化与容器监控全栈智能观测中心同样和Tivoli一样具备虚拟化监控能力,支持OpenStack、VMware ESX 等虚拟化平台的监控数据接入的同时,还支持对云环境进行一体化纳管,支持插件化的方式对公有云和私有云平台进行扩展监控 03.全栈智能观测中心替换 Tivoli 事件规则实操截至目前,全栈智能观测中心团队已经在近十个项目中将 IBM Tivoli 替换为全栈智能观测中心产品,一个核心且常见的需求是将Tivoli系统中长期积累的事件规则迁移至全栈智能观测中心平台
CI/CD 可观测性架构 使用 APM 服务器,将所有 OpenTelemetry 原生 CI/CD 观测工具直接连接到 Elastic Observability。 [CI/CD可观测性架构] 使用 Elastic 构建 CI/CD 可观测性的架构 更高级的 CI/CD 可观测性架构包括部署在边缘(靠近 CI/CD 工具)的 OpenTelemetry 收集器。 将日志存储在可观测性后端有几个好处,包括: 将所有的可观测性数据进行统一的存储,更利于我们实现Jenkins实例的全观测性、监控、警报和故障排除。 [4e948ca55e2a9dcf017250812de56e23.png] 对 Ansible playbook的可见性 此集成提供开箱即用的服务地图,其中包含连接到 Ansible Playbook [f9454261577f37e9a8041179b90138a2.png] 通过调用KIBANA_URL/internal/apm/services API执行健康检查,将新部署实例上的服务的交易错误率与阈值进行比较
• 英特尔与Google Cloud宣布深化战略合作,阿里1688同步公布AI时代B2B交易互联互通开放标准。 • 森博科技董事长于林义谈AI应用落地:拼的不只是技术,更是能跑通、能验证的业务闭环。 =kb-agent-prod LANGSMITH_ENDPOINT= https://api.smith.langchain.com 但我们项目里,检索、Rerank、评分这些环节很多是自研的,没有全走 = client.pull_prompt( "kb-agent-system:candidate-v2", )def generate(query, ctx): active = ( prompt_v2 如果你的团队完全没有用LangChain/LangGraph,纯自研Pipeline,Phoenix的OpenTelemetry原生方案反而更轻量,不会有"为了观测反过来被框架绑架"的顾虑。 从这一篇往后,可观测性算是补齐了。
追踪和可观测性已成为实现这些目标的关键实践。本文探讨了Java应用程序中的追踪概念,深入研究了代码插桩技术,并展示了它们如何促进全栈可观测性。 理解追踪和可观测性 追踪涉及记录应用程序中请求或事务的流程。它捕获关于操作执行的详细信息,包括时间、持续时间和上下文。在分布式系统中,追踪有助于可视化请求如何在多个服务和组件之间传播。 可观测性是指通过系统的外部输出来推断其内部状态的能力,主要由日志、指标和追踪三大支柱构成:日志用于记录离散事件,指标反映随时间变化的数值数据,追踪则展现请求在系统中的路径。 Java中的插桩技术 插桩是向代码中添加观测能力的过程。在Java中,可以使用几种技术来实现: 手动插桩 开发者明确添加代码来记录追踪数据。 实现全栈可观测性 全栈可观测性意味着跨前端、后端、数据库和外部服务的可见性。 集成追踪、日志和指标 结合所有三大支柱以获得全面的洞察。
引言 全链路观测平台设计离不开基础数据的采集、提炼和呈现。本文就基础数据日志、指标、链路的采集原理进行梳理,如何将其关联最终提供辅助决策价值提点归纳。 2.链路架构简图 采样策略 固定采样率:保持固定采样的频率 最低采样率:过低流量保证最低的采样率 自适应采样率:根据流量自动适应采样率 全部采样率:对应特高优先流量100%采样 染色采样:对于染色打标的请求 2.纵向关联 垂直关联:应用维度包含依赖的容器、机器、CPU、带宽、磁盘、内存、消息资源(主题和消费组、集群)、缓存资源、数据库资源(表与实例等)、搜索资源(索引等)指标关联一站式展现。 三、辅助决策 1.数据质量 指标埋点覆盖度 链路采样策略的多样性 日志清洗与提炼 2.告警质量 告警信息能包含从指标到链路以及日志的清晰关联与日志信息,提高决策能力 3.分析能力 沉淀问题分析的最佳实践库 ,将其自动化分析提升定位能力 4.自愈能力 基于分析能力,沉淀自愈策略 自愈策略的灵活配置 5.性能与稳定性 采集延迟、计算能力、查询性能 可视化观测平台自身的稳定性建设 6.可视化能力 可观测一站式
提供全栈观测方案 腾讯云推出腾讯云可观测平台(Tencent Cloud Observability Platform, TCOP),集指标、链路、日志于一体,提供一体化智能监控解决方案。 核心模块包括: 一体化观测:整合H5/Web/小程序、微服务、Kubernetes、200+云产品等数据源,通过DSL关联分析、统一存储、实时异常检测实现全栈数据打通(数据来源:TCOP全景图)。 选择腾讯云的核心优势 技术领先性: 一体化观测实现全链路横向关联与全栈资源纵向穿透,支持端到端统一监控(数据来源:“总览全局”章节); Prometheus监控服务解决开源版水平扩展痛点,数据存储无上限 权威认证: 腾讯云可观测平台获评信通院《云计算系统智能化可观测性能力成熟度模型》认证最高级-智能引领级(Lv5)(数据来源:“行业认证”章节); 云压测获信通院首届“云系统稳定安全运行优秀案例” (数据来源:腾讯云可观测平台介绍手册及相关产品章节)
在之前的平台中,对于组件之间的网络流向不具备直接的可观测性,用户组件间通信出现问题,只能通过传统命令行工具进行手动排查,而 cilium 的 Hubble 服务可以提供 UI 界面向用户展示实时的流量状态 ,同时可以将这些指标暴露给 Prometheus 进行聚合整理,让用户可以更直观的对底层网络状态进行观测监控。 开启 Hubble UI 服务 cilium 的网络可观测性由 Hubble 服务提供,在安装 cilium 时,默认不会安装 Hubble ,可以通过以下命令开启 Hubble 服务 helm upgrade
IT咖啡馆|全栈可观测数据库设计线 I/O 面交给 OpenObserve(OO),治理/知识面沉到 PostgreSQL 栈(Timescale + AGE + pgvector)。 摘要本文落地一套「全栈可观测」数据库设计:明细进 OO,PG 仅存 12 张核心表(维度、定位符、指标 1m、服务调用 5m、日志指纹/计数、拓扑时态、知识库、事件/证据),并用 AGE 维护“当前服务级调用图 向量索引)事件(2):event_envelope、evidence_link图(AGE):仅维护“服务级调用图”的活跃子图(10 分钟窗口)。 2)OO 定位符oo_locator:只存 对象存路径、时间窗、查询 hint,作为“回查线索”。策略:与聚合表通过 sample_ref 关联,形成“摘要 → 原文”的证据链。 d.resource_id = t.dst_resource_idWHERE t.tenant_id = $tenant AND t.valid @> $timestamp::timestamptz;与「全塞
介绍了腾讯 IEG 蓝鲸观测平台如何运用前沿的 DeepFlow 的 eBPF 技术,结合传统的 APM 体系,实现了对游戏服务全链路、真全栈,无盲点观测。 AIOPS2、基于OTel+eBPF的实践OTel 提供了观测领域的标准协议框架,降低了开发者接入成本eBPF 是 Linux 内核技术,用于网络、安全、观测领域,提供无侵入式的观测能力将 OTel 和 目前 eBPF 主要是用在网络、安全、观测这三大领域。2:OTel+eBPF数据融合提供全面观测视角从两者的官方介绍来看,两者都能用于观测领域 ,那我们是不是用其中一种就可以了呢? 到这里的话,基本上上面的能力,已经能满足我们想要的全观测能力。下面我再以游戏的全栈观测场景,来展示下我们是怎么去实践的。 所以这是传统 APM 方案在实践过程中一些比较痛的点,接入成本高,数据无法全覆盖,所以我们尝试引入 eBPF 的解决方案。2:无侵入式实现解决方案那么无侵入式怎么解决全观测呢?这个是一个简化的架构图。
DeepFlow全栈可观测性实践案例DeepFlow的全栈可观测性产品能力主要体现在四个方面:云上云下业务全景图:观测每个服务的性能全栈调用链追踪:观测每个调用的性能持续性能剖析:观测每个函数的性能OneAgent 下面以某行客户为例子,分享各个团队使用DeepFlow全栈观测平台的实践案例。 以某一次时延劣化为例,利用APM只能定位到三个服务处观测到的时延分别为2.05s、2.05s、2ms,看似性能瓶颈在aggquery服务上,长时间排查无果,严重影响了压测进度。 01|信创技术选型:提供客观中立的全栈观测数据支撑在新核心压测环境海光v.s.鲲鹏对比测试中,在DeepFlow的保障支撑下,两套环境均成功到达压测目标:2万TPS交易请求平均时延控制在90ms内。 02|Agent的自我持续剖析能力DeepFlow全栈观测平台的业务全景拓扑、全栈链路追踪、持续性能剖析对自身也同样适用。
像 LangSmith、Langfuse 这样的现代观测平台,已经将 Agent Trace 定义为一棵包含完整上下文的执行树。 但这其实会有 2 个关键问题: 首先,强行降维会破坏关键的嵌套执行树。 表面上这只是一次很常见的观测分析,但由于这些字段都藏在 String 里,查询引擎的优化器对此一无所知。 面对 TB 级别的长文本,传统的 LIKE 会导致全表扫描。 优化时间范围和链路查询的排序键 PARTITION BY RANGE(`ts`) () DISTRIBUTED BY HASH(`trace_id`) BUCKETS AUTO PROPERTIES ( .... ); 2.
此时,传统的追踪系统已无法满足对多服务、跨系统的全链路追踪需求,因此需要引入分布式追踪系统。 成本优势:能够以较小的机器预算支撑起全公司大规模追踪数据的处理与存储落地,且性能表现良好。 目前该体系已稳定运行超过 2 年,并成功支持多次业务大促活动。 基于服务的追踪(Service-Based Tracing) 以上的两类采集方式专注于对服务边界的观测, 如果服务有对内部的观测需求则通过服务自定义打点的方式上报追踪数据,按需增加追踪深度。 ,始终围绕着“降低使用门槛、赋能业务决策”两大核心目标,让每一次请求可观测、可诊断、可优化。
概述(ETL-OO2PG & AGE 活跃调用图 & 拓扑/IaC/Ansible) [exporter] [Vector] [OTel GW] 2. 性能:10 万条日志 + 2 万 span,内存峰值 < 200MB。 T5 — pkg/patterns 指纹抽取(Drain/RE2) 描述:实现日志模板归一;输出 fingerprint、severity;可配置忽略字段。 T10 — 观测指标与窗口滞后 描述:导出 Prometheus 指标(自定义 /metrics 或写回 OO);记录窗口滞后。
---- Hello folks,我是 Luga,今天我们来聊一下云原生生态核心技术—— 可观测性,即 “基于 OpenTelemetry 进行 Kubernetes 全链路观测” 。 2、动态性:Kubernetes 环境中的应用程序和资源拓扑通常是动态变化的,包括 Pod 的创建、删除、缩放等操作。 2、Pod 指标 此指标提供有关在节点上运行的 Pod 资源使用和操作的信息,包括 CPU、内存和网络使用情况。 2、Kubernetes 元数据注入 自动将 Kubernetes 特定的元数据(例如 Pod 名称、Pod 命名空间和容器 ID)注入到遥测数据中。 ://github.com/open-telemetry/opentelemetry-helm-charts/tree/main/charts/opentelemetry-operator 2、
六、全栈统一监控的实践价值由于多数企业同时运行网络、服务器、应用和安全工具,数据割裂问题突出。 随着企业IT环境持续复杂化,具备全栈覆盖能力、开放集成和预测分析能力的监控平台,正成为保障业务连续性的重要工具。运维团队可结合自身现状,逐步引入相应的能力,提升故障预防与处置效率。
2. 全栈可观测,先画边界 “全栈”不只是炫酷口号,真正落地要回答三件事: 信号面要齐全:Metrics / Logs / Traces / Flows / Profiling / RUM / 业务指标,一个都不能漏 语义面要统一:所有观测数据都需要“事件包络”+“拓扑图谱”,才能相互验证、形成证据链。 全栈不是把所有数据丢进一个大桶,而是职责分层,让信息能互证。 3. 7.主流选型并排评审 要做全栈可观测,免不了要面对几个“老熟人”方案。不同技术各有来历和优势,有的天生为可观测而生,有的则是“借道而入”。 2) 性能与可观测体验 OO 处理时间窗 + 标签的典型检索:TOPK、错误率、分位数,近线秒级。 Timescale 连续聚合命中,历史报表/趋势避免全表扫。
这也正是“可观测性”弥足珍贵的原因之一:当系统出问题时,我们可以通过系统本身提供的可观测能力,去追踪和理解到底发生了什么。 不得不佩服 Linux 的设计者们,/proc 文件系统的设计在多年以前就已体现出极强的可观测性理念。 我并不想讲怎么样实现可观测性,毕竟我不是专家。 但我想谈谈观测给了我们一个什么样的视角。 也就是说,在调用 foo 前后各执行一次全量 GC,程序的内存使用应该没有任何变化。 按默认 GC 策略,GC 会等到内存分配到 297.5 * 2 = 595MB 时才会启动下一轮 GC,这个计算远远高于我的观查到的数据。 但我并不这么认为——不管业务逻辑怎么写,在 GC 系统的视角下,它的行为是稳定的,它始终以内存分配量的 2 倍作为标记对象的阈值。
就是这么简单——只需告诉模型它应该是谁,如下所示: PROMPT (without role prompting): Explain Photosynthesis in 1-2 sentences. Explain Photosynthesis to your students in 1-2 sentences. (dream control, social media origin, AI-driven future). 2. 因此,你可以得到两全其美的结果。 假如你要为自己的律师事务所构建一个聊天机器人。 图 2:检索增强生成 在构建 AI 系统时,在以下情况下,你应该考虑使用 RAG: 模型需要超出模型训练截止日期的最新信息。 系统依赖于特定领域中专有的或经常更新的数据。
全链路可观测性,正是解决这一问题的根本基石。一、从“监控”到“可观测性”:一次认知的跃迁传统监控回答的是“什么东西坏了”,可观测性回答的是“为什么坏了”。 全链路可观测性,不是单点能力的堆叠,而是“数据采集→关联分析→智能决策”三层能力的系统化构建。第一层:全域数据采集——看得见。 可观测性的基础是“全量数据”。 金华银行的实践是一个典型样本: 平台通过集成Prometheus性能监控、Zabbix指标采集、Skywalking链路追踪,实现了对2万台以上设备、百万级监控指标的实时采集与计算,“支持2万台以上设备 全链路可观测性,不是一套工具,而是一种能力—— 让运维团队从“盲人摸象”式的故障排查,走向“全景视图”式的精准定界。 从“工具孤岛”到“信号融合”,从“被动响应”到“主动预判”——可观测性正在重塑故障定界的底层逻辑。 没有全链路可观测性,故障定界就是“猜”;有了它,每一次定界都有据可依、有源可溯、有路可循。
直达原文:可观测告警全生命周期管理:从风暴抑制到智能闭环01.引言在分布式架构与云原生技术普及的今天,可观测性已成为企业运维的核心能力。 嘉为蓝鲸告警中心作为可观测体系的关键中枢,通过告警接入、丰富、收敛、分派、分析、处置六环节的自动化闭环设计,将告警数据转化为可行动的运维洞察,助力企业实现从被动响应到智能治理的跨越。 2)告警丰富:动态补充,提升可读性通过三层丰富策略提升告警信息价值:插件清洗:基于预定义的插件数据清洗逻辑,自动解析并输出关键告警字段(如时间、类型、对象等);常规丰富:若清洗后内容未达标准格式,可通过替换 02.结语:从治理到智能的跨越嘉为蓝鲸告警中心通过 “告警精准捕获-集中接入-快速丰富-高效抑制-定向派单-闭环处置” 的全生命周期管理,已助力某大型机场实现告警覆盖率90%、收敛率75%,某证券公司在日均百万级告警下仍保持 其核心价值在于将 “被动响应”转化为“主动治理” ,以自动化与智能化重塑运维可观测效率标杆。