---- Hello folks,我是 Luga,今天我们来聊一下云原生生态体系核心之——可观测性。 在未来,可观测性的发展将继续受到关注。每十年都会带来可观测性运作方式的巨大变化。过去三十年见证了一次又一次的转型——从本地云到云,现在是云原生。 或许,如下的相关观点或建议可帮助大家进行应对,具体可参考: 1、统一的可观测性 第一个主要问题是如何实现统一的可观测性。 — 04 — 云原生可观测性未来的一点思考 未来的可观测性将需要更加智能化和自动化。 同时,随着云原生技术的发展,容器、微服务和无服务器架构等新技术也将对可观测性产生深远的影响。 未来的可观测性还需要更加全面和综合。
那么在今天这样一个云原生时代呢,我们应该以什么样的方式对云原生应用进行监控和管理呢? 这就可能要涉及到另外一个话题,也就是本篇文章着重讲解的话题——《可观测性》。 可观测性的立场是站在被观测对象(也就是你目前运行的云原生应用)之上,他的出发点是被监控的对象。 本文也将再次回顾一下如何基于被观测对象的角度来审视如何构建一个可观测性平台。 为了解决这样的窘境呢,我们希望能有一种新的思维,站在应用系统本身出发去探讨另外一个概念或者特性——应用系统的可观测性。尤其是最前面提到的在当今云原生时代下的应用系统的可观测性。 我们来回顾一下提供可观测性的大背景,正如前面提到的云原生应用,云原生应用目前是大行其道,它不仅是一个简单的名次,其内容也是丰富多彩。 上面通过大篇幅的对云原生时代大背景以及可观测性的结构之后,且在你认可上面观念的情况下,应该如何针对我们目前存在的系统或者正在开发运维的系统进行可观测性的建设呢?
云原生计算基金会(CNCF)提出了一套云原生可观测性标准协议,称为OpenTelemetry Protocol。 OpenTelemetry定义了云原生可观测性的三个重要支柱:Log、Metrics、以及Trace。Log:基于日志的监控 日志是以应用程序运行事件为基础的记录。 Metrics:基于指标的监控 指标是可聚合的数据。这些数据可以来自于基础系统、主机、第三方源等等。 简单可扩展模式简单可扩展模式支持读写分离(-target=read和-target=write),可以针对读写场景有针对性的扩容。 ingesterdistributorquery-frontendquery-schedulerquerierindex-gatewayrulercompactor优点:以微服务集群形式部署的扩展性好、可观测性高
---- Hello folks,我是 Luga,今天我们来分享一下与云原生体系有关的话题- 云原生可观测性-Observability。 作为一个“核心”体系,可观测性在监控分布式微服务应用程序和云基础设施的可见性和控制自动化层面具有举足轻重的意义。 同时,随着 Kubernetes 容器云编排平台的驱动下,软件系统正在向复杂的云原生、开源和基于微服务的结构进行革命性转变。软件系统已成为任何组织的组成部分。 基于实际的业务场景而言,可观测性通常为最终用户、企业和 IT 团队提供了显着的优势,具体如下: 1、应用程序性能监控 完整的端到端可观察性使企业能够更快地识别性能问题,即使是那些由云原生和微服务架构带来的问题 4、可访问的数据可视化 当团队成功收集可观察性数据时,必须将其压缩为可用和可共享的格式。这通常是通过使用各种工具对数据进行可视化表示来实现的。
本文整理自云杉网络 DeepFlow 产品负责人向阳在 QCon 2023 的演讲分享,主题为“基于 eBPF 的云原生可观测性深度实践”。 分享从四个方面展开。 第一部分回顾分布式追踪的十四年历史,剖析云原生时代下的新痛点。第二部分讲解 AutoTracing —— DeepFlow 基于 eBPF 的一项颠覆性创新,零代码修改实现分布式追踪。 在开始之前我先做一个自我介绍,我从清华大学毕业之后就来到了云杉网络,目前负责云原生可观测性产品 DeepFlow。 02 分布式追踪:回顾十四年历史,剖析云原生时代的新痛点 相信大家非常熟悉分布式追踪,追踪数据是可观测性三大支柱之一。 05 展望未来:开源共建,开启高度自动化的可观测性新时代 邻近结尾,我来介绍一下 DeepFlow 这个项目。它是我们开源的一个零代码修改实现云原生应用可观测性的软件。
CNCF 简介 CNCF(Cloud Native Computing Foundation),中文为“云原生计算基金会”,CNCF是Linux基金会旗下的基金会,可以理解为一个非盈利组织。 成立这个组织的初衷或者愿景,简单说: •推动云原生计算可持续发展;•帮助云原生技术开发人员快速地构建出色的产品;•CNCF通过建立社区、管理众多开源项目等手段来推广技术和生态系统发展。 ? OpenTracing支持的语言更多、相对对其他系统的耦合性要更低;OpenCensus支持Metrics、分布式跟踪,同时从API层一直到基础设施层都进行了支持。 开源社区 ? 难分胜负? 江湖也已经乱战了很多年,这次谷歌和微软下定决心结束江湖之乱,对于未来分布式系统的监控真的是非常巨大的利好消息,我们也有理由相信在这两家巨头的主导,该项目会越发展越好,未来会有越来越多的开源项目、框架、平台,原生的使用
传统的监控手段在面对高度动态、分布式的云原生环境时显得力不从心,这催生了可观测性技术的快速发展。 DeepFlow作为一款开源、高度自动化的可观测性平台,通过创新的技术架构和实现机制,为云原生环境提供了全栈、全链路的深度观测能力。 第一章:云原生可观测性的挑战与演进1.1 云原生环境的复杂性特征云原生环境与传统基础设施有着本质区别,其核心特征包括:1.1.1 高度动态性容器化部署和弹性扩缩容导致工作负载实例的生命周期大幅缩短。 :优化的数据处理流水线和存储引擎,支持大规模环境下的实时分析高度的可扩展性:插件化的架构设计和水平扩展能力,适应不同规模的部署需求随着云原生技术的持续演进和复杂度的不断提升,DeepFlow这类面向云原生设计的可观测性平台将发挥越来越重要的作用 ,DeepFlow有望成为云原生可观测性领域的事实标准,为构建更加可靠、高效的数字化基础设施提供坚实支撑。
云原生可观测性迎来AI驱动时代!预测性监控、异常检测助力快速定位问题。拥抱OpenTelemetry标准化遥测数据,降低运营成本。DevSecOps融合安全与可观测性,FinOps实现成本优化。 随着当代云架构变得越来越复杂,这种情况正变得越来越频繁。 这就是云原生可观测性发挥作用的地方。 互操作性:与云原生可观测性工具(包括 Prometheus Grafana 和 Jaeger)的平滑集成。 成本效益:通过消除对各种专有代理的需求来降低运营费用。 合规性自动化,以保证云环境符合 GDPR 和 HIPAA 等监管标准。 FinOps 对可观测性支出的影响 可观测性会产生大量成本,并且随着组织增强其遥测数据收集,云支出可能会迅速增加。 基于云的成本分析:提供有关可观测性支出的见解,以实现有效的成本管理。 最后的思考 可观测性的演变 随着云原生技术的采用加速,可观测性已成为确保性能可靠性和安全性的重要因素。
基于云原生体系构建的可观测系统:Observability-stack Observability Stack 是基于云原生组件构建的OpsCenter系统。
云原生时代,可观测性变成了基础设施级的诉求。 随着微服务、容器化的兴起,云原生带来的应用复杂度呈指数级上升,这种复杂度增加了系统状态可视化的难度,企业对于系统可观测能力提出了更高的要求。 2018年,“可观测性”正式走向前台,用于描述云原生环境下服务的状态变量,加之包括谷歌在内的众多大厂一拥而上,很快成为云原生技术领域最热门话题之一。 因此,云原生可观测性是指,从传统软件监控及数据分析可视化工具中,总结出在云原生领域中,从底层容器基础设施、通用技术组件到业务应用系统全链路监控运维、运营治理等产品化体系化的能力诉求,确切的体现了云原生的核心理念 相比监控更多偏向自动化工具,可以替代人自动监控系统异常,云原生可观测性不仅包含传统监控的能力,更多的是面向业务,强调将业务全过程透明化的理念。 为可观测注入All in ONE思想 在云原生时代,可观测领域是一个大有可为的市场。
选择云原生可观测性工具的四个因素 为团队提供专为云原生环境定制的现代可观测性工具将使他们能够快速检测和纠正问题。 对于那些在其现代化旅程早期的人来说,这可能意味着学习各种云原生术语、好处、陷阱,以及了解云原生可观测性对于成功至关重要。 为了帮助,我们创建了一个关于“入门云原生”的四部分入门指南。 这一篇涵盖了在选择云原生可观测性工具时需要考虑的功能和业务需求。 云原生可观测性的需求 今天的开发人员面临着两个普遍存在于各种规模和行业组织中的一般性问题。 单片式方法无法满足这些目标,但云原生架构可以。然而,企业从单片式基础架构转向云原生环境,如果没有现代的可观测性方法,就会失败。但是,虽然云原生采纳带来的挑战是真实的,但并非无法克服。 在云原生可观测性解决方案中要寻找的特点 一个合适的云原生可观测性解决方案应该具备以下特点: 控制数据和成本 您的云原生可观测性解决方案应该帮助您了解您拥有多少数据以及数据的来源,同时使您能够更轻松地快速查找您需要解决问题并实现业务结果所需的数据
作者 | 石钟浩、张龙 策划 | 凌敏 近年来,由于 eBPF 在 Linux 内核级别灵活的可编程性、安全性等优势,在云原生网络、安全和可观测性等方面应用广泛。 eBPF 可以在不侵入任何业务代码的基础上实现云原生应用的可观测性。 本文会介绍一些伏羲私有云基于 eBPF 和 kindling 在云原生可观测性领域的一些探索。 kindling 简介 kindling 是一款基于 eBPF 的云原生可观测性开源工具,旨在帮助用户更好、更快地定界(triage)云原生系统故障。 探索与实践 伏羲私有云基于 eBPF 和 kindling 在云原生可观测性领域探索和实践中取得了一些阶段性工作成果,并回馈开源社区做了一些贡献。
活动背景 在云原生时代,微服务、容器化、serverless等技术从根本上改变了应用的开发、运维方式。 在提升效率的同时,也带来了更复杂的服务关系,如何快速定位问题,提供清晰的链路分析,使得可观测解决方案成为云原生架构下非常重要的课题。 社区、Tetrate、腾讯云原生可观测性Oteam、腾讯云中间件的技术专家为我们带来可观测性上的实践经验和技术方案分享。 活动简介 活动主题:聚焦云原生,可观测性的实践和探索 活动时间:2021年6月26日(周六)10:00 ~ 17:00 活动地点:北京市海淀区希格码大厦B1多功能厅 本次活动邀请Apache SkyWalking PMC成员、腾讯云原生可观测性Oteam核心作者、腾讯云中间件核心研发等技术大咖汇聚一堂,为大家带来一线的最佳实践,并与广大开发者面对面交流。
活动背景 在云原生时代,微服务、容器化、serverless等技术从根本上改变了应用的开发、运维方式。 在提升效率的同时,也带来了更复杂的服务关系,如何快速定位问题,提供清晰的链路分析,使得可观测解决方案成为云原生架构下非常重要的课题。 社区、Tetrate、腾讯云原生可观测性Oteam、腾讯云中间件的技术专家为我们带来可观测性上的实践经验和技术方案分享。 活动简介 活动主题:聚焦云原生,可观测性的实践和探索 活动时间:2021年6月26日(周六)10:00 ~ 17:00 活动地点:北京市海淀区希格码大厦B1多功能厅 本次活动邀请Apache SkyWalking PMC成员、腾讯云原生可观测性Oteam核心作者、腾讯云中间件核心研发等技术大咖汇聚一堂,为大家带来一线的最佳实践,并与广大开发者面对面交流。
活动背景 在云原生时代,微服务、容器化、serverless等技术从根本上改变了应用的开发、运维方式。 在提升效率的同时,也带来了更复杂的服务关系,如何快速定位问题,提供清晰的链路分析,使得可观测解决方案成为云原生架构下非常重要的课题。 社区、Tetrate、腾讯云原生可观测性Oteam、腾讯云中间件的技术专家为我们带来可观测性上的实践经验和技术方案分享。 活动简介 活动主题:聚焦云原生,可观测性的实践和探索 活动时间:2021年6月26日(周六)10:00 ~ 17:00 活动地点:北京市海淀区希格码大厦B1多功能厅 本次活动邀请Apache SkyWalking PMC成员、腾讯云原生可观测性Oteam核心作者、腾讯云中间件核心研发等技术大咖汇聚一堂,为大家带来一线的最佳实践,并与广大开发者面对面交流。
活动背景 在云原生时代,微服务、容器化、serverless等技术从根本上改变了应用的开发、运维方式。 在提升效率的同时,也带来了更复杂的服务关系,如何快速定位问题,提供清晰的链路分析,使得可观测解决方案成为云原生架构下非常重要的课题。 社区、Tetrate、腾讯云原生可观测性Oteam、腾讯云中间件的技术专家为我们带来可观测性上的实践经验和技术方案分享。 活动简介 活动主题:聚焦云原生,可观测性的实践和探索 活动时间:2021年6月26日(周六)10:00 ~ 17:00 活动地点:北京市海淀区希格码大厦B1多功能厅 本次活动邀请Apache SkyWalking PMC成员、腾讯云原生可观测性Oteam核心作者、腾讯云中间件核心研发等技术大咖汇聚一堂,为大家带来一线的最佳实践,并与广大开发者面对面交流。
这时,坐在对面的小 L 说道:“我们都在给用户讲帮助他们实现系统的可观测性,是时候 Erda 也需要被观测了。” 小涛:“那要怎么做呢…?” 但同时 Erda 本身也提供了功能齐全的服务观测能力,而且在社区也有一些追踪系统(比如 Apache SkyWalking 和 Jaeger)都提供了自身的可观测性,给我们提供了使用平台能力观测自身的另一种思路 OpenTelemetry 是 CNCF 的一个可观测性项目,由 OpenTracing 和 OpenCensus 合并而来,旨在提供可观测性领域的标准化方案,解决观测数据的数据模型、采集、处理、导出等的标准化问题 analysis组件把 otlp 的数据分析为 Erda APM 的可观测性数据模型。 Golang 无侵入的调用拦截 Erda 作为一款云原生 PaaS 平台,也理所当然的使用云原生领域最流行的 Golang 进行开发实现,但在 Erda 早期的时候,我们并没有在任何平台的逻辑中预置追踪的埋点
作为云原生计算基金会(CNCF)下的主要项目之一,OpenTelemetry 得到了大量企业软件供应商和云服务提供商的支持。 Elastic® 正在战略性地将 OpenTelemetry 作为其主要的数据收集架构,用于可观测性和安全性。 基于机器学习的 AIOps 功能:如延迟相关性、故障相关性、异常检测、日志峰值分析、预测模式分析、Elastic AI 助手支持等,所有这些功能都适用于原生 OTLP 遥测数据。 Elastic 可观测性 APM 和机器学习功能Elastic 可观测性平台的所有 APM 功能都可以与 OTel 数据一起使用(在我们的博客 《使用 OpenTelemetry 实现独立性》 中了解更多 Kubernetes 上使用 Elastic 和 OpenTelemetry 实现现代可观测性和安全性使用 OpenTelemetry 和 Elastic 进行日志记录的三种模型在 Elastic 可观测性部署中添加免费和开放的
可观测性即代码,非常 k8s 范。 正文 Kubernetes 已经是对工作负载和微服务进行容器编排的实时标准平台,目前 Kubernetes 已经在云原生应用广泛落地。 虽然 Kubernetes 管理云原生应用的好处非常多了,但是 Kubernetes 在云本地应用程序中遇到了一些新的可观测性问题挑战。这篇文章就是想讨论一下目前遇到的这些挑战。 可观测性可以被当作一种代码,以便它作为应用程序的一个组成部分连接到应用程序中,然后随应用程序一起部署,以便它可以在任何云、基础设施、网络或应用程序上运行。 为了进一步理解这一点,让我们看一个简单的示例,它展示了在 Kubernetes 环境中可观测性作为代码是怎么在的云原生应用程序中工作的。
OpenObserve 是一个 Rust 开发的开源的高性能云原生可观测平台(日志、指标、追踪),比起 Elasticsearch 它大约可以节省 140 倍的存储成本,OpenObserve 能够处理 PB 级的数据,如果你正在寻找一个用于日志、指标、追踪的可观测工具,那么 OpenObserve 是非常值得尝试的。 无需复制 s3 来实现数据持久性/可用性,因为 AWS 会将你的对象冗余存储在 Amazon S3 区域中至少三个可用区 (AZ) 的多个设备上。 与 Elasticsearch 相比,Elasticsearch 是一个通用性的搜索引擎,同时也兼具观测工具的功能。 而 OpenObserve 是从头开始构建的观测工具,非常注重提供优秀的可观测性能。 架构 OpenObserve 可以在单节点下运行,也可以在集群中以 HA 模式运行。