首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏灰子学技术

    流量治理开篇

    本篇文章是笔者流量治理的第一篇文章,笔者希望在这里系统的讲解下这些年以来对流量流量治理的理解,希望对读者有所帮助,也希望读者能够及时指正文章中笔者理解不对的地方。 本篇文章笔者会从下面几点来介绍流量治理。 问题一:流量治理是什么? 问题二:为什么需要流量治理? 问题三:如何进行流量治理? 一、流量治理是什么 流量治理:顾名思义流量治理就是针对流量就行治理,这里面有两个关键字,流量治理。 三、如何流量治理 笔者根据对流量治理的程度将流量治理划分成了三个层级去治理: 层级一:提供稳定和准确的流量转发功能。 除此之外,我们还需要支持便捷的服务降级能力,例如:旁路流量的降级,非关键功能的降级等等。 4.具备准确实时的监控能力。

    1.1K21编辑于 2022-12-03
  • 来自专栏灰子学技术

    istio之流量治理

    本篇文章就是来整理和讲解istio中的流量治理功能,更准确的说是介绍envoy的治理功能,流量治理的常见场景,如下图所示,本文主要对这些场景做一个详细的介绍: ? 1. 4. idleTimeout: 上游连接池连接的空闲超时。空闲超时被定义为没有活动请求的时间段。 如果未设置,则没有空闲超时。当达到空闲超时时,连接将被关闭。 4.经过了规定的隔离时间之后,被隔离的主机将会自动恢复过来,重新接受调用方的远程调用。 通常异常检测会与主动健康检查一起用于全面的健康检查解决方案。 ? 4. 灰度发布 概念: 灰度发布主要用三种场景,蓝绿发布、A/B测试和金丝雀发布,概念如下: 蓝绿发布:新版本单独部署在另外一套独立的资源上,在新版本可用后,所有流量都切到新版本上。 外部注入服务治理 概念: 在业务变得很复杂之后,内部服务已经不能够满足需求,此刻我们就需要外部的服务来提供支撑,而这个外部接入的服务也是需要进行管理和维护的。

    1.7K20发布于 2021-07-09
  • 来自专栏灰子学技术

    流量治理第三篇:流量特点介绍

    上一篇,笔者概括介绍了一下对于流量治理的三板斧操作;本篇文章笔者主要来介绍下流量的常见特点,所谓知己知彼百战百胜,我们只有了解了流量的特点,特别是他们存在的挑战,我们才能更好的治理流量。 针对流量而言,长期的流量不均,流量的响应延迟过高,瞬时的流量过大,以及流量本身内容的不安全,是我们平时治理流量的时候,不得不面对的问题,并且这些问题往往会对我们的产品产生很大的影响和冲击。 如果上述几种负载均衡策略还是不能满足你的流量需求,特别是流量中夹杂着某一类耗时很久的特殊流量的情况,这就需要构建流量反馈机制,让负载均衡和后端服务进行配合,通过反馈机制做自适应调节,对负载均衡进行实时调节来达到目的 当然也可以在业务服务上面实现降级,例如:流量优先级丢弃策略,在流量超过限制之后,选择性丢掉一些优先级不高的流量。 3.瞬时流量过大问题 这类问题,首先要识别流量特征,是可以丢弃的,还是不可以丢弃的。 4.流量安全问题 这类问题取决于流量安全的类型,是攻击型,爬虫类还是管制类。

    1.2K30编辑于 2022-12-03
  • 来自专栏Ceph对象存储方案

    基于Librados的流量治理方案

    基于Librados的流量治理方案 1 需求背景&现状 需要自己实现一套类似RGW的对象存储服务,解耦元数据存储到独立的数据库服务(如TiDB),同时提供跨Ceph集群的数据读写能力,实现横向扩展和跨集群级别的容灾 数据请求的跨集群路由 整个系统的数据写入会分布在不同的Ceph集群,因此需要在入口侧进行数据流量的按集群拆分。

    59040发布于 2021-05-13
  • 来自专栏有点技术

    istio在vm上的流量治理

    DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"><html><head><

    2.5K32发布于 2020-11-25
  • 来自专栏研发管理经验

    服务网格流量治理演进实录

    这是朴素而正确的思路,但它只解决了寻址问题,治理问题一个没解决。1.2流量治理逻辑侵入业务代码超时重试、熔断降级、限流——这些逻辑被开发团队写进了业务代码。 关键配置——声明式流量策略(零业务代码侵入):展开代码语言:YAMLAI代码解释#库存服务的流量治理策略#一个YAML,替代每个服务里200行SDK代码apiVersion:policy.linkerd.io -service:order-service-canaryweight:10#10%流量走金丝雀版(VIP用户)阶段二成果:指标阶段一后阶段二后P99延迟2800ms420ms故障定位时间平均4小时平均 18分钟灰度发布耗时2周4小时业务代码中治理逻辑占比~35%<5%服务间mTLS加密❌无✅全量老板那边的反应:大促前三天,老板说要给VIP开快车道。 技术团队改了一个YAML,4小时上线。老板沉默了一会儿说:"早这样多好。"三、ServiceMesh的现状与选型>"博学之,审问之,慎思之,明辨之,笃行之。"

    22421编辑于 2026-04-08
  • 来自专栏用户5766560的专栏

    Istio流量治理原理之负载均衡

    一句话总结Istio流量治理的目标:以基础设施的方式提供给用户非侵入的流量治理能力,用户只需关注自己的业务逻辑开发,无须关注服务访问管理。 Istio流量治理的概要流程如图1所示: 图1  Istio流量治理的概要流程 在控制面会经过如下流程: (1)管理员通过命令行或者API创建流量规则; (2)Pilot将流量规则转换为Envoy的标准格式 在数据面会经过如下流程: (1)Envoy拦截Pod上本地容器的Inbound流量和Outbound流量; (2)在流量经过Envoy时执行对应的流量规则,对流量进行治理。 负载均衡 下面具体看看Istio提供了流量治理中的负载均衡功能。 如图4所示为Istio负载均衡的流程,Pilot将服务发现数据通过Envoy的标准接口下发给数据面Envoy,Envoy则根据配置的负载均衡策略选择一个实例转发请求。

    2.4K30发布于 2019-07-05
  • 来自专栏k8s技术圈

    使用 Istio 实现非侵入流量治理

    READY STATUS RESTARTS AGE istio-egressgateway-5c8d96c9b5-6d5g9 1/1 Running 0 4m6s istio-ingressgateway-6bcfd457f9-wpj7w 1/1 Running 0 4m6s istiod-775bcf58f7-v6jl2 1/1 Running 0 5m4s 如果都是 Running 状态证明 istio 就已经安装成功了。 61m jaeger-7f78b6fb65-bj8pm 1/1 Running 0 3m56s kiali-85c8cdd5b5-b5zv4 由于上面我们已经将应用中所有的 DestinationRules 都已经创建过了,所以现在我们直接访问应用就可以了,我们多次刷新,可以发现没有出现 Ratings 的次数与出现黑色星 Ratings 的比例大概在4:

    1.7K30发布于 2021-07-27
  • 来自专栏Java-SpringCloud相关

    Java学习笔记-微服务(8)-流量治理Sentinel

    SentinelSentinel 面向分布式、多语言异构化服务架构的流量治理组件。替换 Spring Cloud CircuitBreaker。 Sentinel 实现了从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助保障微服务稳定性。 通过 QPS 可以大致估计出一个系统在不同配置情况下所能承受的最大访问流量,是用来评价后端服务端性能的指标之一。 流控效果-预热 WarmUp当流量突然增大时,我们通常会更希望系统从空闲到繁忙的切换时间长一些。 @SentinelResource 注解SentinelResource 是一个流量防卫组件的注解,用于防护指定资源,对配置的资源进行流量控制、熔断降级等功能。

    64710编辑于 2025-03-09
  • 来自专栏瓜农老梁

    Mesh5# Istio服务模型与流量治理要点

    通过什么方式进行流量治理 一、Istio服务模型 服务(Service)与版本(Version):Istio中的服务在kubernetes中以service形式存在,可定义不同的服务版本。 二、Istio流量治理 治理原理 通过Isito中VirtualService、DestinationRule、ServiceEntry等配置实现流量治理,即Istio将流量配置通过xDS下发给Enovy ,通过拦截Inbound和Outbound流量,在流量经过时执行规则,实现流量治理。 通常流量治理有:动态变更负载均衡策略、不同版本灰度发布、服务治理限流熔断和故障注入演练等。 概念说明 1.VirtualService 含义:形式上为虚拟服务,将流量转发到对应的后端服务。 ;网格外流量配置关联的Gateway表示执行该规则;网格内外都需要访问:需要配置Gateway和mesh两个字段 http 用于处理HTTP流量 tls 用于处理非终结的TLS和HTTPS流量 tcp

    82030发布于 2021-11-10
  • 来自专栏深度学习与python

    贝壳找房流量分发数据回收与治理演进之路

    4.商机溯源面临的问题与挑战 下面聊一下商机溯源面临的问题与挑战。 4 商机治理能力演进 下面我们来看一下商机治理能力的演进。 1.治理的背景 首先了解一下商机治理的背景。 4.治理的目标与措施 再来看治理的目标与措施。 我们分析低质量商机发现了有很多类型,这里主要列举几个非常典型的类型: 第一类是黑产类的商机。这种商机一般都会说拉着经纪人去做一些流量类型的活动。 治理方案与处置措施 后续我们还有很多的探索规划: 展望一:探索在流量分发场景中的应用。 目前主要负责贝壳商机数据回收、治理流量溯源等方面工作。曾毕业并就职于华北计算技术研究所,参与过某军工信息系统建设;后加入阿里集团,工作相关代表产品包括 UC 浏览器、学习强国等。

    94310编辑于 2023-03-29
  • 来自专栏灰子学技术

    流量治理第二篇之三板斧

    本篇文章是笔者对流量治理治理思路的总结,在这里笔者把它们称为流量治理的“三板斧”,这里笔者只是阐述下个大概,算是先给它们做个介绍,后续会详细讲解每一部分。 对于流量治理来说,笔者觉得一定要从三个方面来着手,他们分别是:“看得见”,“摸得着”,“管得住”。 ,才能发现流量的热点,瓶颈,才能更好的进行治理,当然用户也可以看到流量的价值,进而进行数据挖掘,在运营面做写文章进而产生价值。 二、摸得着 “摸得着”,指的是治理的人工交互能力,特别在流量出现异常或者不可控的时候,我们能够有办法与产品进行交互。而产品也具有这种交互能力,可以按照用户的意愿采取对应的措施,进行流量治理。 三、管得住 “管得住”,指的是流量治理的实际规则,这里针对两种类型的流量,一种是正常流量,一种是异常流量

    47620编辑于 2022-12-03
  • 来自专栏深度学习与python

    “天猫双11”背后的流量治理技术与标准实践

    OpenSergo 涵盖的微服务治理关键领域: 流量治理与服务容错:流量路由、流量染色、全链路灰度、流量防护与自愈(流量控制、服务熔断、容错防抖) 微服务视角的数据库与缓存治理:端侧连接池治理、读写流量路由 Sentinel 底层基于精心设计的高性能毫秒级滑动窗口统计结构来实现百万 QPS 流量的精确统计,结合上层各个流量治理策略模块的组合来实现对不同维度的流量进行治理,同时支持灵活的扩展定制机制。 targetResourceName: '/foo' strategies: - name: rate-limit-foo fallbackAction: fallback-foo 4 Sentinel 原生支持 OpenSergo 流量防护与容错标准 Sentinel 2.0 品牌将升级为流量治理,并作为 OpenSergo 流量治理的标准实现。 5 展望 流量防护与容错是微服务流量治理中的重要的一环,同时 OpenSergo 还提供更广范围、更多场景的微服务治理标准与最佳实践,包括流量路由、流量染色、微服务视角的数据库治理、日志治理等一系列的微服务治理能力与场景

    1.3K20编辑于 2022-11-28
  • 来自专栏博文视点Broadview

    服务网格中 sidecar 流量治理与多协议嗅探

    如何确认哪些治理规则需要对当前流量生效? 在服务网格中,sidecar 的职责当然不只是简单的流量转发了,更重要的是流量观察及流量治理。所以,获取到了流量原始目标 IP 和端口之后,直接转发出去显然不是网格想要的,必须进行更进一步的治理。 这就是第二个问题了,如何使治理规则生效,又有哪些治理规则需要对当前流量生效呢? 答案其实就在第1小节中。 通配 fake listener 使用 0.0.0.0:<port> (IPv4)为索引。 本文以尽可能浅显的概念来说明服务网格中流量治理的实现原理与多协议嗅探机制要解决的问题。希望能够让读者对于服务网格流量治理和协议嗅探能有一个基本认知。

    1.1K10编辑于 2022-07-19
  • 来自专栏用户6020948的专栏

    如何提高网站流量?只要这4步!

    SEO又叫搜索引擎优化,是一种提高网页在搜索引擎排名的技术,在搜索结果里,第一页往往会占据至少50%的流量,而排名前三几乎可以占据90%的流量。 SEO技术通过网站自身的不断优化和外链建设,使得自身对于搜索引擎的更加友好,越来越符合搜索引擎的排名规则和喜好,从而得到更好的排名和流量。 网站研发阶段的SEO工作应该在策划阶段就开始加入进来,而网站改版时的网站优化则需要用到更多的搜索引擎关系管理工作,尤其是当Burl变化时301重定向,只有做好了重定向才不会让之前积累的SEO工作和自然流量浪费

    78320发布于 2020-04-21
  • 来自专栏charlieroro

    流量控制--4.软件和工具

    CONFIG_NET_QOS=y CONFIG_NET_ESTIMATOR=y CONFIG_NET_CLS=y CONFIG_NET_CLS_TCINDEX=m CONFIG_NET_CLS_ROUTE4= 下面是使用tc给现有的父类添加类的用法: 例4.tc 类 [root@leander]# tc class add \ <1> > dev eth0 \ 不同的内核模块和程序目前用于不同的协议,iptables用于IPv4,ip6tables用于IPv6,arptables用于ARP,ebtables用于以太帧。 后来,Xtables或多或少被用来指整个防火墙(v4、v6、arp和eb)体系结构。 Xtables 允许系统管理员定义包含处理报文的规则的表。每个表都与一个不同类型的报文处理相关联。 注意,流量不是在目标被匹配时进入队列,而是在匹配之后。当流量进入imq设备之后的具体位置取决于流量的方向(进/出)。这些位置由iptables预定义的netfilter 钩子决定。

    1.5K40发布于 2020-11-24
  • 来自专栏深度学习与python

    如何借助 Apache APISIX 实现互联网保险领域的流量治理

    在这里对于安全层面也存在一些规范要求,包括两地三中心的治理和针对中间件数据业务的隔离,对流量治理和安全性的要求相对是比较严格的。 场景痛点与需求 考虑到真实使用场景,每家公司对于流量治理的层次和需求其实也各不相同。 比如有些公司可能相对来讲更希望网关更前置,仅作为边缘网关角色,有些可能希望网关能够处理南北流量或者是东西、南北流量共同治理。 下图展示的是在流量治理过程中的逻辑部署,主要涉及流量网关、微服务网关、统一运营网关、BaaS 网关和域网关。 希望在后续的落地实践中,众安保险可以基于 Apache APISIX 实现整体流量治理的完整落地,助力互联网保险领域的流量管控与安全治理

    63920编辑于 2022-03-23
  • 来自专栏yeedomliu

    《云原生服务网格Istio》第3章 非侵入的流量治理

    第3章 非侵入的流量治理 通过对本章的学习,可基于Istio的这些配置在不修改代码的情况下实现各种流量治理 ---- 3.1 Istio流量治理的原理 流量治理是一个非常宽泛的话题 动态修改服务间访问的负载均衡策略 只要应用运行在Istio的基础设施上,就可以使用这些治理能力 一句话总结 Istio 流量治理的目标:以基础设施的方式提供给用户非侵入的流量治理能力,用户只需关注自己的业务逻辑开发,无须关注服务访问管理 ---- 3.2 Istio路由规则配置:VirtualService VirtualService是Istio流量治理的一个核心配置,可以说是Istio流量治理中最重要、最复杂的规则 3.2.1 路由规则配置示例 4.异常实例检测设置(OutlierDetection) 异常点检查就是定期考察被访问的服务实例的工作情况,如果连续出现访问异常,则将服务实例标记为异常并进行隔离,在一段时间内不为其分配流量。 在第1次隔离期满后,异常的实例将重新接收流量,如果实例工作仍不正常,则被重新隔离,第2次将被隔离20分钟,以此类推 3.负载均衡配置 ? ? 4.TLS认证配置 ? ?

    2K30发布于 2019-10-11
  • 来自专栏愿天堂没有BUG(公众号同名)

    千亿流量并发治理!Alibaba实战Sentinel笔记,为微服务保驾护航

    无论是项目重构,还是新项目的开发,即使项目初期没有多大的流量,但从长远考虑,企业也基本会优先使用微服务架构。 服务降级、限流、熔断、流量效果控制 Sentinel的特性 Sentinel性能压测 第2章 了解概念与核心 类 本章开始探索Sentinel。 SPI在Sentinel中的应用 责任链模式在Sentinel中的应用 Sentinel的整体工作流程分析 第4章 资源指标数据统计 QPS、TPS和RT是衡量服务性能的指标,如衡量网站、数据库的性能 本章主要分析Sentinel限流功能的实现原理及几种流量效果控制器的实现原理。 热点参数限流功能的实现 流量效果控制 第12章 集群限流 由于请求倾斜的存在,分发到集群中每个节点上的流量不可能是均匀的,因此单机限流无法实现精确地限制整个集群的整体流量,从而造成在总流量没有达到阈值的情况下一些机器就开始限流

    54940编辑于 2022-10-28
  • 来自专栏宜信技术实践

    宜信开源|(功能上新)UAVStack服务治理流量控制

    背景 应用微服务化场景下,随着服务个数的增加,服务之间的相互调用变得更加复杂,服务治理需求愈加突出,其中服务流量控制是服务治理中的重要一环。 UAVStack作为一套智能化服务技术栈,其服务治理(UAV.ServiceGovern)模块提供了基于画像的服务注册与发现、服务访问授权及服务流量控制能力。 图1限流模型 UAV服务治理流量控制采用上图所示的漏斗+能力池限流模型。将应用根据UAV画像抽象出三层,分别是应用层(应用实例层)、服务组件层和URL层。 二、关键技术 2.1 MOF中间件劫持 MOF(MonitorFramework)中间件劫持为UAV服务治理流量控制提供基础支撑。 图4 策略下发结果状态展示 3.3 限流效果及性能展示 图5为极简应用(接收到请求后直接返回)场景下的测试结果,包括在压力不断增强的情况下应用原生吞吐量(红线)、安装UAV不启用限流的吞吐量(黑线)、安装

    61220发布于 2019-07-02
领券