首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏JavaEdge

    可用系统架构(2)-Hystrix分布式系统可用

    进而组织某个依赖服务出现故障的时候,这种故障在整个系统所有的依赖服务调用中进行蔓延,同时Hystrix还提供故障时的fallback降级机制 总而言之,Hystrix通过这些方法帮助我们提升分布式系统的可用性和稳定性 2 发展史 NetflixAPI团队从2011年开始做一些提升系统可用性和稳定性的工作,Hystrix就是从那时候开始发展出来的。 3 设计哲学 Hystrix是为了保证分布式系统的可用性: 对依赖服务调用时出现的调用网络延迟和调用接口失败提供控制和容错保护 在复杂的分布式系统中,阻止某一个依赖服务的故障在整个系统蔓延 提供fail-fast 和快速恢复 提供fallback降级 支持近监控、报警以及运维 (1)阻止任何一个依赖服务耗尽所有的资源,比如tomcat中的所有线程资源 (2)避免请求排队和积压,采用限流和fail fast来控制故障

    41630编辑于 2022-11-30
  • 来自专栏JavaEdge

    可用架构设计(2) - hystrix

    Hystrix的历史 hystrix,一种可用保障的框架,Netflix API团队从2011年开始做一些提升系统可用性和稳定性的工作,Hystrix就是从那时候开始发展出来的。 ,每个服务都有很多的依赖服务,而每个依赖服务都可能会故障 如果服务没有和自己的依赖服务进行隔离,那么可能某一个依赖服务的故障就会拖垮当前这个服务 举例 某个服务有30个依赖服务,每个依赖服务的可用性非常 ,已经达到了99.99%的可用性 那么该服务的可用性就是99.99%的30次方,也就是99.7%的可用性 99.7%的可用性就意味着3%的请求可能会失败,因为3%的时间内系统可能出现了故障不可用了。 对于1亿次访问来说,3%的请求失败,也就意味着300万次请求会失败,也意味着每个月有2个小时的时间系统是不可用的。在真实生产环境中,可能更加糟糕。 上面也就是说,即使你每个依赖服务都是99.99%可用性,但是一旦你有几十个依赖服务,还是会导致你每个月都有几个小时是不可用的。

    30820编辑于 2021-12-07
  • 来自专栏A周立SpringCloud

    从MySQL可用架构可用架构设计

    可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务,我们说系统的可用性是100%。 1.2 可用复制架构 ? 1.3.mysql 可用架构 1.3.1 MySQL Cluster架构 限制存储引擎为NDB存储引擎: ? 此方案特点: 1、安全、稳定性较高,可扩展性好 2、 对服务器数量要求至少三台及以上 3、 对双主(主从复制性要求较高) 4、 同样可实现读写分离 1.3.3 MySQL+MHA架构 MHA目前在MySQL 此架构特点: 1、安装布署简单,不影响现有架构 2、自动监控和故障转移 3、保障数据一致性 4、故障切换方式可使用手动或自动多向选择 5、适应范围大(适用任何存储引擎) 2.MySQL可用带给我们对可用架构设计的思考 为了可用的保证,有了多主或者主从切换。 数据库的可用架构一般在系统的底层,这方面的技术要求比较高,整个可用系统大致如下: ?

    1.2K20发布于 2019-08-23
  • 来自专栏大数据-BigData

    Kyuubi可用架构

    作为建立在 Apache Spark 之上的企业级即席 SQL 查询服务,Kyuubi 以可用性 (HA) 为主要特征,旨在确保约定的服务可用性级别,例如高于正常运行时间。 如果没有 HA,如果服务器崩溃,在修复崩溃的服务器之前,Kyuubi 将不可用可用架构 目前,Kyuubi 支持负载均衡,使整个系统可用。 负载均衡旨在优化所有 Kyuubi 服务单元的使用,最大化吞吐量,最小化响应时间,避免单个单元过载。 但它没有任何可用性的可用性。 生产模式 出于生产部署目的,kyuubi.ha.zookeeper.quorum 需要一个外部 Zookeeper 集群。 例如: bin/beeline -u 'jdbc:hive2://10.242.189.214:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace

    1.9K30编辑于 2022-04-14
  • 来自专栏技术闲话

    可用架构笔记

    重新配置集群中的其它slave对新的Master进行同步 什么是可用架构 https://www.cnblogs.com/tengpan-cn/p/7193300.html 在介绍可用架构的方案之前 ,先说一下什么是可用架构可用架构应具备但不限于以下特征: 主从切换 很好理解,当其中一台机器的服务宕机后,对于服务调用者来说,能够迅速的切换到其他可用服务,从服务升级为主服务,这种切换速度应当控制在秒级别 【软件架构篇】浅谈可用 https://www.jianshu.com/p/35e4c2db6fde 可用架构(转载) https://www.cnblogs.com/shizhiyi/p/7750493 .html 可用架构的6大常规方案 https://www.cnblogs.com/tengpan-cn/p/7193300.html 什么是可用 https://www.cnblogs.com/shizhiyi /p/7750530.html 数据库架构杂谈(2可用与一致性 https://zhuanlan.zhihu.com/p/340189997 可用基本架构 https://blog.csdn.net

    87740发布于 2021-01-30
  • 来自专栏一行舟

    MySQL可用架构

    引言 “可用”是互联网一个永恒的话题,先避开MySQL不谈,为了保证各种服务的可用有几种常用的解决方案。 服务冗余:把服务部署多份,当某个节点不可用时,切换到其他节点。 一主一备: MySQL的各种可用架构,都脱离不了MySQL实例之间的数据同步,因此,我们先介绍下最简单的一主一备架构下MySQL的数据同步流程。 上图是主从数据同步的一个示意图。 基于MySQL主从同步数据越来越完善,效率越来越高,也就引出了第一种MySQL的可用架构: 基于MySQL自身的主从同步方案,常用的一种部署架构是:用户通过VIP访问Master和Slave节点,每个节点采用 基于MHA的可用架构:部署一份MHA的Manager节点,在MySQL各个实例部署MHA Node节点。MHA可以实现秒级的故障自动转移。 总结 MySQL的可用架构没有银弹,了解其原理,选择符合自己业务场景的部署架构就可以了。

    1.6K20编辑于 2022-08-25
  • 可用架构(一)

    可用架构改造要点总结 针对小程序点餐平台的并发场景(10万QPS、500万日订单、99.99%可用性),以下是关键改造措施: 前端接入优化 CDN加速静态资源 商品图片等静态数据通过多地CDN节点分发 架构原则映射 冗余与扩展:无状态服务水平扩展、订单分库、双线路容灾。 异步削峰:MQ解耦、消息推送中心。 监控兜底:一体化监控面板、限流熔断策略。 性能优化:CDN、缓存预热、硬件升级。

    28510编辑于 2025-12-18
  • 可用系统架构

    系统可用实现手段 冗余与无单点设计 部署关键节点时避免单点故障,例如负载均衡采用双节点+Keepalived方案(如Nginx/HAProxy/LVS),通过虚拟IP实现故障自动切换。 水平扩展是应对并发场景的核心手段。 柔性事务设计 在分布式场景下优先保证可用性,采用最终一致性方案: 异步消息队列(如Kafka/RabbitMQ)实现数据同步 TCC(Try-Confirm-Cancel)模式补偿事务 本地消息表+定时任务校对 ,将系统可用性提升至99.99%(年停机时间小于52分钟)。 实际实施需根据业务特点权衡,例如金融系统需更强一致性,而电商可优先保证可用性。

    46210编辑于 2025-12-18
  • 来自专栏全栈程序员必看

    rabbitmq可用集群搭建_mongodb可用架构

    RabbitMQ 可用集群搭建 1 集群简介 1.1 集群架构 ​ 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目的 一个可用,负载均衡的 RabbitMQ 集群架构应类似下图: 这里对上面的集群架构做一下解释说明: ​ 首先一个基本的 RabbitMQ 集群不是可用的,虽然集群共享队列,但在默认情况下,消息只会被路由到某一个节点的符合条件的队列上 HAProxy 同时支持四层和七层负载均衡,并基于单一进程的事件驱动模型,因此它可以支持非常的井发连接数。 ;如果连续 3 次的检查结果都不正常,则认为该节点不可用。 juejin.im/post/6844904071183220749 RabbitMQ 官方文档 —— 集群指南:www.rabbitmq.com/clustering.… RabbitMQ 官方文档 —— 可用镜像队列

    3K10编辑于 2022-09-30
  • 来自专栏陶陶技术笔记

    Canal可用架构部署

    「总体架构」: ? canal server 启动instance; canal client 每次进行connect时,会首先向 zookeeper 询问当前是谁启动了canal instance,然后和其建立链接,一旦链接不可用 11110 tcp端口,canal提供netty数据订阅服务的端口 metric端口, promethues的exporter监控数据端口 (未来会对接监控) 多台Server关联同一个集群即可形成主备HA架构 *,mysql.test1,mysql.test2 (逗号分隔) 注意:此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql,所以无法准确提取tableName进行过滤 outerAdapters, 比如例子中logger和hbase 目前client adapter数据订阅的方式支持两种,直连canal server 或者 订阅kafka/RocketMQ的消息 「(2)

    4.9K52发布于 2021-03-24
  • 来自专栏桥路_大数据

    【Yarn】系统架构&可用

    系统架构&可用 系统架构 Yarn在架构上是主从架构,其中Resource Manager是主节点,Node Manager是从节点。 在架构部署上,Node Manager与HDFS的DataNode安装在同一节点,以便将计算任务移动到数据上。 其中主节点Resource Manager可以有热备节点,以实现集群可用

    59420发布于 2021-09-10
  • 来自专栏全栈程序员必看

    系统架构可用

    2)作为一个承前启后的岗位,业务架构师像是一个路由器,对各种业务需求加以分析处理后路由到下游产品和研发团队。 (2)系统架构有:1、单体式架构(两层的C/S架构、三层的MVC架构),2、多体式架构(简单分布式系统RPC调用、面向服务架构SOA、微服务架构)。 微服务架构每个服务都有自己的数据库。 微服务架构的好处: (1)通过分解巨大的单体式应用为多个服务方法解决了复杂性问题。 (2)这种架构使得每个服务都可以有专门的开发团队来开发。 关于可用架构设计 【由于时间有限,没有画图,纯文字略显粗糙,不过希望猿友可以耐心看完】 正常情况下,我们一般一个微服务单元部署两个实例,分别放到两台服务器上,可以达到一个容灾效果。 再者就是,学会做数据冗余,以前数据库服务非常昂贵,我们坚持数据库的第三范式,避免冗余,而现在我们应该考虑的是如何做好数据冗余,以提高系统的可用性。不仅仅是表字段冗余,甚至可以整张表冗余。

    57840发布于 2021-04-07
  • 来自专栏开源部署

    MySQL 可用架构Atlas

    Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 Atlas主要功能: 1.读写分离 2.从库负载均衡 3.IP过滤 4.自动分表 5.DBA可平滑上下线DB 6.自动摘除宕机的DB Atlas介绍 Atlas是一个位于应用程序与MySQL (2). sudo ./mysql-proxyd test restart,重启Atlas。 (3). sudo ./mysql-proxyd test stop,停止Atlas。 (2). sudo ./mysql-proxyd test restart,重启Atlas。 (3). sudo . mysql> update sharding_test set name='test2' where id<999; Query OK, 2 rows affected (0.01 sec) #delete

    2K10编辑于 2022-08-17
  • 来自专栏悟空聊架构 | 公众号

    实战 MySQL 可用架构

    之前 B 站不是出过一次事故么,2 小时才恢复过来,详细可以看之前写的文章。 B 站崩了,总结下「可用」和「异地多活」 上次折腾完 ELK 日志检索平台后,开发环境可以正常查询日志了。 最近在做系统可用相关的工作,这次我来分享下 MySQL 双主 + Keepalived 的可用落地和踩坑之路。 一文带你搭建一套 ELK Stack 日志平台 一、方案选择 对于 MySQL 的可用,主要分为两步,配置 MySQL 主主模式和 keepalived 软件。 五、配置主主架构 5.1 步骤 配置主主架构就是在主从架构中交换下配置信息。步骤如下: 在节点 node2 上创建复制账户。 查看二进制日志文件和位置信息。 这里我配置成第二种功能场景,保障 MySQL 服务的可用。另外可以配置 MySQL 服务异常时,发送邮件给运维或开发人员,由他们检查服务器的状态。

    1.6K20编辑于 2022-07-01
  • 来自专栏兜兜毛毛

    Kafka 可用架构 (3)

    就像Redis Sentinel的架构,执行故障转移的时候,必须要先从所有哨兵中选一个负责故障转移的节点一样。kafka 也要先从所有Broker中选出唯一的一个Controller。 HW(Hign Watermark 水位):ISR中最小的LEO。Leader会管理所有ISR中最小的LEO为HW。 consumer最多只能消费到HW之前的位置。 Replica 1与Replica2各同步了1条数据,HW推进了1,变成了7,LEO因Replica2推进了1,变成了7。 ? Replica 1与Replica2各同步了2条数据,HW和LEO重叠,都到了9。 ? 在这需要了解一下,从节点如何与主节点保持同步? leader更新HW(ISR最小的LEO) kafka设计了独特的ISR复制,可以在保障数据一致性情况下又可以提供吞吐量。

    87730发布于 2021-04-01
  • 来自专栏飞鸟的专栏

    OpenStack可用架构方案

    OpenStack是一个开源的云计算平台,其架构包括计算、存储和网络服务,可以提供强大的虚拟化能力和自动化管理功能。为了确保OpenStack平台的可用性,需要采用一定的架构方案和技术手段。 本文将介绍一些常见的OpenStack可用架构方案。控制节点可用方案控制节点是OpenStack平台的核心,它负责管理所有的计算、存储和网络资源。 因此,控制节点的可用性是OpenStack平台的关键。常见的控制节点可用方案包括使用负载均衡器、使用集群、使用虚拟IP等。使用负载均衡器是一种常见的控制节点可用方案。 存储节点可用方案存储节点是OpenStack平台中存储资源的关键。常见的存储节点可用方案包括使用分布式存储、使用RAID、使用集群等。使用分布式存储是一种常见的存储节点可用方案。 常见的存储集群技术包括DRBD、GFS2和Lustre等。网络节点可用方案网络节点是OpenStack平台中网络资源的关键。常见的网络节点可用方案包括使用虚拟路由器、使用集群、使用负载均衡器等。

    1.6K11编辑于 2023-03-28
  • 来自专栏闲余说

    架构设计 5-可用架构之高可用存储架构

    导读:《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第五部分,主要介绍可用存储架构,分别介绍了双机架构和集群架构以及各种具体方案的优缺点和应用场景。 场景 主备复制是最常见也是最简单的一种存储可用方案,几乎所有的存储系统都提供了主备复制的功能,例如 MySQL、Redis、MongoDB 等 主从复制 主机负责读写操作,从机只负责读操作,不负责写操作 是机器掉电后备机才升级,还是主机上的进程不存在就升级,还是主机响应时间超过 2 秒就升级,还是 3 分钟内主机连续重启 3 次就升级等。 缺点 虽然中介式架构在状态传递和状态决策上更加简单,但并不意味着这种优点是没有代价的,其关键代价就在于如何实现中介本身的可用。 ZooKeeper 本身已经实现了可用集群架构,因此已经帮我们解决了中介本身的可靠性问题,在工程实践中推荐基于 ZooKeeper 搭建中介式切换架构

    72820编辑于 2022-08-19
  • 来自专栏about云

    构建并发可用的电商平台架构实践2

    2、 高性能、低延迟 从数据流入计算平台数据,到计算输出结果,需要性能高效且低延迟,保证消息得到快速的处理,做到实时计算。 3、 可靠性 保证每个数据消息得到一次完整处理。 而且journal的刷新时间是可以改变的,2-300ms的范围,使用 --journalCommitInterval 命令。 2) 关系型数据库 关系型数据库在满足并发性能的同时,也需要满足事务性,以mysql数据库为例,讲述架构设计原理,在性能方面的考虑,以及如何满足可用性的需求。 cache/buffer、Connection、IO d、应用级别(比如索引的考虑,schema的优化适当冗余;优化sql查询导致的CPU问题和内存问题,减少锁的范围,减少回表扫描,覆盖索引) Ø 在可用实践方面 ,后期要不断的进行迁移维护;对于可用和伸缩方面,传统数据采用的是主备、主从、多主的方案,但是本身扩展性比较差,增加节点和宕机需要进行数据的迁移。

    1.7K100发布于 2018-03-27
  • 来自专栏闲余说

    架构设计 6-可用架构之高可用计算架构

    导读:《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第六部分,主要介绍可用计算架构,介绍了可用架构设计的要点以及不同架构方式的优缺点。 主备 主备架构是计算高可用最简单的架构,和存储可用的主备复制架构类似,但是要更简单一些,因为计算高可用的主备架构无须数据复制 详细设计 主机执行所有计算任务 当主机故障(例如,主机宕机)时,任务分配器不会自动将计算任务发送给备机 缺点:主从架构需要将任务分类,任务分配器会复杂一些。 集群 计算高可用集群包含 2 台服务器的集群,这点和存储可用集群不太一样。 存储可用集群把双机架构和集群架构进行了区分;而在计算高可用集群架构中,2 台服务器的集群和多台服务器的集群,在设计上没有本质区别,因此不需要进行区分 对称集群 通俗的叫法是负载均衡集群。 个人思考 相对可用存储架构,计算架构相对简单,不涉及数据同步和一致性。关键点在于如何将请求路由到合适的实例上。 reference 从 0 开始学架构

    70930编辑于 2022-08-19
  • 来自专栏后端架构师

    全面剖析 MongoDB 可用架构

    MongoDB 背景 可用架构 Master-Slave 模式 Replica Set 副本集模式 Sharding 模式 推荐使用姿势 使用姿势一:怎么保证可用? 我们今天从比较高的层面来观摩学习下 MongoDB 的几种可用架构。通过观察这几种架构我们甚至能体会到通用的分布式架构的一个演进方向。 ? 可用架构 ? 我们从 Mongo 的三种可用模式逐一介绍,这三种模式也代表了通用分布式系统下可用架构的进化史,分别是 Master-Slave,Replica Set,Sharding 模式。 本文介绍了 3 种 MongoDB 的可用架构,Master-Slave 模式,Replica Set 模式,Sharding 模式,这也是常见的架构演进的过程; MongdbDB Master-Slave 今天从比较大的层面来分析了下 MongoDB 的可用架构,这 3 种架构也是分布式系统里常见的架构模式,非常实用,你学 fei 了吗?

    1.1K30发布于 2021-04-08
领券