首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏灰子学技术

    流量治理开篇

    本篇文章是笔者流量治理的第一篇文章,笔者希望在这里系统的讲解下这些年以来对流量流量治理的理解,希望对读者有所帮助,也希望读者能够及时指正文章中笔者理解不对的地方。 本篇文章笔者会从下面几点来介绍流量治理。 问题一:流量治理是什么? 问题二:为什么需要流量治理? 问题三:如何进行流量治理? 一、流量治理是什么 流量治理:顾名思义流量治理就是针对流量就行治理,这里面有两个关键字,流量治理。 正式因为服务的特性和流量的特性存在矛盾和冲突,我们才需要流量治理。 三、如何流量治理 笔者根据对流量治理的程度将流量治理划分成了三个层级去治理: 层级一:提供稳定和准确的流量转发功能。

    1.1K21编辑于 2022-12-03
  • 来自专栏灰子学技术

    istio之流量治理

    本篇文章就是来整理和讲解istio中的流量治理功能,更准确的说是介绍envoy的治理功能,流量治理的常见场景,如下图所示,本文主要对这些场景做一个详细的介绍: ? 1. 限流可以认为服务降级的一种,限流就是限制系统的输入和输出流量已达到保护系统的目的。 一般来说系统的吞吐量是可以被测算的,为了保证系统的稳定运行,一旦达到的需要限制的阈值,就需要限制流量并采取一些措施以完成限制流量的目的。比如:延迟处理,拒绝处理,或者部分拒绝处理等等。 A/B测试:同时在线上部署A 、B两个对等的版本来接收流量,按照自定义的流量规则,让一部分用户到A,一部分到B,并收集这两部分用户的反馈,通过分析数据来决定最终采用那个版本。 外部注入服务治理 概念: 在业务变得很复杂之后,内部服务已经不能够满足需求,此刻我们就需要外部的服务来提供支撑,而这个外部接入的服务也是需要进行管理和维护的。

    1.7K20发布于 2021-07-09
  • 来自专栏灰子学技术

    流量治理第三篇:流量特点介绍

    上一篇,笔者概括介绍了一下对于流量治理的三板斧操作;本篇文章笔者主要来介绍下流量的常见特点,所谓知己知彼百战百胜,我们只有了解了流量的特点,特别是他们存在的挑战,我们才能更好的治理流量。 针对流量而言,长期的流量不均,流量的响应延迟过高,瞬时的流量过大,以及流量本身内容的不安全,是我们平时治理流量的时候,不得不面对的问题,并且这些问题往往会对我们的产品产生很大的影响和冲击。 如果上述几种负载均衡策略还是不能满足你的流量需求,特别是流量中夹杂着某一类耗时很久的特殊流量的情况,这就需要构建流量反馈机制,让负载均衡和后端服务进行配合,通过反馈机制做自适应调节,对负载均衡进行实时调节来达到目的 当然也可以在业务服务上面实现降级,例如:流量优先级丢弃策略,在流量超过限制之后,选择性丢掉一些优先级不高的流量。 3.瞬时流量过大问题 这类问题,首先要识别流量特征,是可以丢弃的,还是不可以丢弃的。 如果上报流量的客户端也是自己开发的话,可以做个闭环设计,在客户端做下流量过滤和聚合来减少无效流量的上报,不过这种玩法取决于对客户端的定位。

    1.2K30编辑于 2022-12-03
  • 来自专栏Ceph对象存储方案

    基于Librados的流量治理方案

    基于Librados的流量治理方案 1 需求背景&现状 需要自己实现一套类似RGW的对象存储服务,解耦元数据存储到独立的数据库服务(如TiDB),同时提供跨Ceph集群的数据读写能力,实现横向扩展和跨集群级别的容灾 数据请求的跨集群路由 整个系统的数据写入会分布在不同的Ceph集群,因此需要在入口侧进行数据流量的按集群拆分。

    59040发布于 2021-05-13
  • 来自专栏有点技术

    istio在vm上的流量治理

    第一台作为k8s 部署istio,第二台作为vm,系统为centos8,centos 7要升级glibc 麻烦的很,第二台通过静态路由访问 k8s内部的pod,

    2.5K32发布于 2020-11-25
  • 来自专栏用户5766560的专栏

    Istio流量治理原理之负载均衡

    流量治理是一个非常宽泛的话题,例如: 动态修改服务间访问的负载均衡策略,比如根据某个请求特征做会话保持; 同一个服务有两个版本在线,将一部分流量切到某个版本上; 对服务进行保护,例如限制并发连接数、限制请求数 一句话总结Istio流量治理的目标:以基础设施的方式提供给用户非侵入的流量治理能力,用户只需关注自己的业务逻辑开发,无须关注服务访问管理。 Istio流量治理的概要流程如图1所示: 图1  Istio流量治理的概要流程 在控制面会经过如下流程: (1)管理员通过命令行或者API创建流量规则; (2)Pilot将流量规则转换为Envoy的标准格式 在数据面会经过如下流程: (1)Envoy拦截Pod上本地容器的Inbound流量和Outbound流量; (2)在流量经过Envoy时执行对应的流量规则,对流量进行治理。 负载均衡 下面具体看看Istio提供了流量治理中的负载均衡功能。

    2.4K30发布于 2019-07-05
  • 来自专栏k8s技术圈

    使用 Istio 实现非侵入流量治理

    它们还收集和报告所有网格流量的遥测数据。 服务网格使用代理拦截所有的网络流量,允许根据您设置的配置提供广泛的应用程序感知功能。 由 Envoy 代理启用的一些 Istio 的功能和任务包括: 流量控制功能:通过丰富的 HTTP、gRPC、WebSocket 和 TCP 流量路由规则来执行细粒度的流量控制。 你可以使用 Istio 流量管理 API 让 Istiod 重新构造 Envoy 的配置,以便对服务网格中的流量进行更精细的控制。 DestinationRule(目标规则):虚拟服务视定义将流量如何路由到指定目标地址,然后使用目标规则来配置该目标的流量,在评估虚拟服务路由规则之后,目标规则将应用于流量的真实目标地址。 流量路由完全独立于实例部署,所以实现新版本服务的实例可以根据流量的负载来伸缩,完全不影响流量路由。相比之下,Kubernetes 则只支持基于实例缩放的流量分发,这会更复杂。

    1.7K30发布于 2021-07-27
  • 来自专栏Java-SpringCloud相关

    Java学习笔记-微服务(8)-流量治理Sentinel

    SentinelSentinel 面向分布式、多语言异构化服务架构的流量治理组件。替换 Spring Cloud CircuitBreaker。 Sentinel 实现了从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助保障微服务稳定性。 通过 QPS 可以大致估计出一个系统在不同配置情况下所能承受的最大访问流量,是用来评价后端服务端性能的指标之一。 流控效果-预热 WarmUp当流量突然增大时,我们通常会更希望系统从空闲到繁忙的切换时间长一些。 @SentinelResource 注解SentinelResource 是一个流量防卫组件的注解,用于防护指定资源,对配置的资源进行流量控制、熔断降级等功能。

    62710编辑于 2025-03-09
  • 来自专栏瓜农老梁

    Mesh5# Istio服务模型与流量治理要点

    通过什么方式进行流量治理 一、Istio服务模型 服务(Service)与版本(Version):Istio中的服务在kubernetes中以service形式存在,可定义不同的服务版本。 二、Istio流量治理 治理原理 通过Isito中VirtualService、DestinationRule、ServiceEntry等配置实现流量治理,即Istio将流量配置通过xDS下发给Enovy ,通过拦截Inbound和Outbound流量,在流量经过时执行规则,实现流量治理。 通常流量治理有:动态变更负载均衡策略、不同版本灰度发布、服务治理限流熔断和故障注入演练等。 概念说明 1.VirtualService 含义:形式上为虚拟服务,将流量转发到对应的后端服务。 ;网格外流量配置关联的Gateway表示执行该规则;网格内外都需要访问:需要配置Gateway和mesh两个字段 http 用于处理HTTP流量 tls 用于处理非终结的TLS和HTTPS流量 tcp

    81830发布于 2021-11-10
  • 来自专栏深度学习与python

    贝壳找房流量分发数据回收与治理演进之路

    请求流量分发服务的时候,我们要求业务方会把 parent sid 还有元素级别 sid 一并传到流量分发服务中去,这样在流量分发服务我们也能拿到一组日志,然后页面中会拿到所有的数据。 4.治理的目标与措施 再来看治理的目标与措施。 我们分析低质量商机发现了有很多类型,这里主要列举几个非常典型的类型: 第一类是黑产类的商机。这种商机一般都会说拉着经纪人去做一些流量类型的活动。 治理方案与处置措施 后续我们还有很多的探索规划: 展望一:探索在流量分发场景中的应用。 在做商机数据回收、商机治理过程中我们也积累了比较多的数据,我们可以基于无效商机关联的用户、用户历史溯源等数据,对低质量的用户采取特殊的流量分发策略,从源头上阻止这些用户产生低质量商机。 目前主要负责贝壳商机数据回收、治理流量溯源等方面工作。曾毕业并就职于华北计算技术研究所,参与过某军工信息系统建设;后加入阿里集团,工作相关代表产品包括 UC 浏览器、学习强国等。

    91910编辑于 2023-03-29
  • 来自专栏灰子学技术

    流量治理第二篇之三板斧

    本篇文章是笔者对流量治理治理思路的总结,在这里笔者把它们称为流量治理的“三板斧”,这里笔者只是阐述下个大概,算是先给它们做个介绍,后续会详细讲解每一部分。 对于流量治理来说,笔者觉得一定要从三个方面来着手,他们分别是:“看得见”,“摸得着”,“管得住”。 ,才能发现流量的热点,瓶颈,才能更好的进行治理,当然用户也可以看到流量的价值,进而进行数据挖掘,在运营面做写文章进而产生价值。 二、摸得着 “摸得着”,指的是治理的人工交互能力,特别在流量出现异常或者不可控的时候,我们能够有办法与产品进行交互。而产品也具有这种交互能力,可以按照用户的意愿采取对应的措施,进行流量治理。 三、管得住 “管得住”,指的是流量治理的实际规则,这里针对两种类型的流量,一种是正常流量,一种是异常流量

    47120编辑于 2022-12-03
  • 来自专栏深度学习与python

    “天猫双11”背后的流量治理技术与标准实践

    OpenSergo 是开放通用的,覆盖微服务及上下游关联组件的微服务治理项目,从微服务的角度出发,涵盖流量治理、服务容错与自愈、服务元信息治理、安全治理等关键治理领域,提供一系列的治理能力与标准、生态适配与最佳实践 OpenSergo 涵盖的微服务治理关键领域: 流量治理与服务容错:流量路由、流量染色、全链路灰度、流量防护与自愈(流量控制、服务熔断、容错防抖) 微服务视角的数据库与缓存治理:端侧连接池治理、读写流量路由 Sentinel 底层基于精心设计的高性能毫秒级滑动窗口统计结构来实现百万 QPS 流量的精确统计,结合上层各个流量治理策略模块的组合来实现对不同维度的流量进行治理,同时支持灵活的扩展定制机制。 Sentinel 2.0 品牌将升级为流量治理,并作为 OpenSergo 流量治理的标准实现。 5 展望 流量防护与容错是微服务流量治理中的重要的一环,同时 OpenSergo 还提供更广范围、更多场景的微服务治理标准与最佳实践,包括流量路由、流量染色、微服务视角的数据库治理、日志治理等一系列的微服务治理能力与场景

    1.2K20编辑于 2022-11-28
  • 来自专栏博文视点Broadview

    服务网格中 sidecar 流量治理与多协议嗅探

    如何确认哪些治理规则需要对当前流量生效? 在服务网格中,sidecar 的职责当然不只是简单的流量转发了,更重要的是流量观察及流量治理。所以,获取到了流量原始目标 IP 和端口之后,直接转发出去显然不是网格想要的,必须进行更进一步的治理。 这就是第二个问题了,如何使治理规则生效,又有哪些治理规则需要对当前流量生效呢? 答案其实就在第1小节中。 请求头,如 Dubbo 请求中 interface)识别流量的目标服务并应用治理规则。 本文以尽可能浅显的概念来说明服务网格中流量治理的实现原理与多协议嗅探机制要解决的问题。希望能够让读者对于服务网格流量治理和协议嗅探能有一个基本认知。

    1.1K10编辑于 2022-07-19
  • 来自专栏深度学习与python

    如何借助 Apache APISIX 实现互联网保险领域的流量治理

    在这里对于安全层面也存在一些规范要求,包括两地三中心的治理和针对中间件数据业务的隔离,对流量治理和安全性的要求相对是比较严格的。 场景痛点与需求 考虑到真实使用场景,每家公司对于流量治理的层次和需求其实也各不相同。 比如有些公司可能相对来讲更希望网关更前置,仅作为边缘网关角色,有些可能希望网关能够处理南北流量或者是东西、南北流量共同治理。 下图展示的是在流量治理过程中的逻辑部署,主要涉及流量网关、微服务网关、统一运营网关、BaaS 网关和域网关。 希望在后续的落地实践中,众安保险可以基于 Apache APISIX 实现整体流量治理的完整落地,助力互联网保险领域的流量管控与安全治理

    63920编辑于 2022-03-23
  • 来自专栏yeedomliu

    《云原生服务网格Istio》第3章 非侵入的流量治理

    第3章 非侵入的流量治理 通过对本章的学习,可基于Istio的这些配置在不修改代码的情况下实现各种流量治理 ---- 3.1 Istio流量治理的原理 流量治理是一个非常宽泛的话题 动态修改服务间访问的负载均衡策略 只要应用运行在Istio的基础设施上,就可以使用这些治理能力 一句话总结 Istio 流量治理的目标:以基础设施的方式提供给用户非侵入的流量治理能力,用户只需关注自己的业务逻辑开发,无须关注服务访问管理 基于Istio的灰度发布 Istio本身并没有关于灰度发布的规则定义,灰度发布只是流量治理规则的一种典型应用,在进行灰度发布时,只要写个简单的流量规则配置即可 ? ? ---- 3.2 Istio路由规则配置:VirtualService VirtualService是Istio流量治理的一个核心配置,可以说是Istio流量治理中最重要、最复杂的规则 3.2.1 路由规则配置示例 3.连接池设置(ConnectionPoolSettings) 通过连接池管理可以配置阈值来防止一个服务的失败级联影响到整个应用,可以看到Istio连接池管理在协议上分为TCP流量和HTTP流量治理 1

    2K30发布于 2019-10-11
  • 来自专栏愿天堂没有BUG(公众号同名)

    千亿流量并发治理!Alibaba实战Sentinel笔记,为微服务保驾护航

    无论是项目重构,还是新项目的开发,即使项目初期没有多大的流量,但从长远考虑,企业也基本会优先使用微服务架构。 第1章 基础知识 本章主要介绍服务降级、限流、熔断、流量效果控制等概念,解读Sentinel的一些特性,并通过对Sentinel性能压测介绍Sentinel的性能表现。 服务降级、限流、熔断、流量效果控制 Sentinel的特性 Sentinel性能压测 第2章 了解概念与核心 类 本章开始探索Sentinel。 本章主要分析Sentinel限流功能的实现原理及几种流量效果控制器的实现原理。 热点参数限流功能的实现 流量效果控制 第12章 集群限流 由于请求倾斜的存在,分发到集群中每个节点上的流量不可能是均匀的,因此单机限流无法实现精确地限制整个集群的整体流量,从而造成在总流量没有达到阈值的情况下一些机器就开始限流

    54440编辑于 2022-10-28
  • 来自专栏宜信技术实践

    宜信开源|(功能上新)UAVStack服务治理流量控制

    背景 应用微服务化场景下,随着服务个数的增加,服务之间的相互调用变得更加复杂,服务治理需求愈加突出,其中服务流量控制是服务治理中的重要一环。 UAVStack作为一套智能化服务技术栈,其服务治理(UAV.ServiceGovern)模块提供了基于画像的服务注册与发现、服务访问授权及服务流量控制能力。 图1限流模型 UAV服务治理流量控制采用上图所示的漏斗+能力池限流模型。将应用根据UAV画像抽象出三层,分别是应用层(应用实例层)、服务组件层和URL层。 二、关键技术 2.1 MOF中间件劫持 MOF(MonitorFramework)中间件劫持为UAV服务治理流量控制提供基础支撑。 图6 应用平均响应时间测试 总结 服务治理是微服务化场景下的一个重要问题。本文仅简单介绍UAV服务治理中服务端限流部分原理和功能展示。由于篇幅有限,暂不详细展开介绍。

    61220发布于 2019-07-02
  • 来自专栏出海数据合规

    基于策略驱动的可插拔隐私计算框架(PDPPC):网关与流量治理

    交互接口的网关化:将隐私保护能力前置到网络边缘,通过API网关实现流量的透明治理和隐私增强。 它不是单纯的流量转发代理,而是一个集成了深度隐私逻辑的计算型网关。所有进出数据平面的流量必须经过此层,进行清洗、验证和隐私增强。 这不仅是技术的升级,更是数据治理模式的范式转移。

    22310编辑于 2026-01-25
  • 来自专栏腾讯云原生实践教程

    【腾讯云原生】腾讯云跨账号流量统一接入与治理方案

    摘自 Kubernetes 实践指南需求场景服务部署在不同腾讯云账号下,想统一在一个腾讯云账号下接入流量,部分流量可能会转发到其它腾讯云账号下的服务。 图片需求分析多集群跨 VPC 流量管理,可以通过 腾讯云服务网格(TCM) + 云联网(CCN) 来实现,自动对多个容器集群进行服务发现(Pod IP),利用 isito ingressgateway 操作步骤准备集群在账号A下(用于接入流量的账号),准备好一个或多个 TKE/EKS 集群,在其它账号准备好 TKE 独立集群。图片注意,一定保证所有集群使用的网段互不冲突。 number: 80测试效果使用 curl 请求不同服务的域名,可以看到将请求均正确转发到了对应的集群,并响应了对应不同的结果:图片总结本文给出了在腾讯云上利用 TCM+CCN+TDCC 实现跨账号多集群流量统一接入和治理的方案 ,示例中的功能相对简单,如有需要,还可以自行配置 istio 规则实现更细粒度的流量治理,比如根据不同 url 路径转发到不同集群的服务,甚至相同 url 同时转发到不同集群,配置流量比例等。

    27.7K363编辑于 2022-08-12
  • 来自专栏【腾讯云开发者】

    熔断、隔离、重试、降级、超时、限流,高可用架构流量治理核心策略全掌握

    本文将介绍一下流量治理是如何维持这种“三高”系统的健康,保障数据流动的均衡与效率,就如同营养顾问在维持人类健康饮食中所起的作用一般。 目录 1 可用性的定义 2 流量治理的目的 3 流量治理的手段 4 总结 01、可用性的定义 在探讨高可用架构之前,让我们以 O2 系统为例,解释一下何谓可用性。 02、流量治理的目的 在保障系统高可用性的过程中,流量治理扮演着关键角色:它不仅帮助平衡和优化数据流,还提高了系统对不同网络条件和故障情况的适应性,是确保服务高效连续运行的不可或缺的环节. 流量治理的主要目的包括: 网络性能优化:通过流量分配、负载均衡等技术,确保网络资源的高效利用,减少延迟和避免拥塞; 服务质量保障:确保关键应用和服务的流量优先级,以保障业务关键操作的流畅运行; 故障容错和弹性 3.2 隔离 微服务系统中,隔离策略是流量治理的关键组成部分,其主要目的是避免单个服务的故障引发整个系统的连锁反应。

    3.6K46编辑于 2023-12-27
领券