- 综合排序
- 最热优先
- 最新优先
- 来自专栏小白晋级大师
分布式系统架构4：容错设计模式
这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”； 4.重试模式概念：适用于解决系统的瞬间故障，如：网络抖动、服务临时过载问题。通过设定调用超时时间和重试次数，在调用失败后自动重试，提升服务调用成功率。
44710编辑于 2024-12-20 - 来自专栏全栈工程师修炼之路
4.Jenkins进阶之分布式架构环境配置
[TOC] ---- 0x00 前言简述 Q: 什么是Jenkins的分布式节点构建? (2) Kubernetes 插件官方帮助 kubernetes Plugs : https://plugins.jenkins.io/kubernetes/ ---- 0x01 安装部署 (0) 分布式架构过程说明 将 Jenkins 的 Master/Agent 分布式架构直接部署在宿主机上不是一个很好的选择；但是它作为一个向容器化过度的中间阶段，是必要学习掌握的。 Tips : 整个 Jenkins 服务分布式部署是很简单的其步骤为： 部署一个 Jenkins Master 节点。 -> Asia/Beijing Step 10.最后最新进行常用插件安装，可以参考最后一章 ---- (3) 集群动态创建 Agent 节点 - Slave 节点 描述: 前面我们说过Jenkins的分布式架构
3.8K10编辑于 2022-09-29 - 来自专栏罗西的思考
PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑
[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 目录 [源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 0x00 摘要 弹性训练系列文章如下： [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 [源码解析] PyTorch 我们在之前文章中介绍过 TCPStore，TCPStore 是基于 TCP 的分布式键值存储实现（类似于 Redis）。 是一个典型的 client-server 架构，服务器存储/保存数据，而存储客户端可以通过 TCP 连接到服务器存储并执行诸如set()插入键值对、get()检索键值对等操作。 _store 负责保存信息（分布式）。
2.4K20编辑于 2021-12-28 小马哥 Java 分布式架构训练营4期
小马哥 Java 训练营 第四期 Java 分布式架构 - 多活架构多活架构介绍多活架构（Multi-Active Architecture）是一种设计用于提高系统可用性和容错性的架构模式。 小马哥 Java 训练营 第四期 Java 分布式架构 - 负载均衡架构设计负载均衡是多活架构中至关重要的一环，它确保了系统的各个节点能够平衡地处理流量，提高了系统的可用性和性能。 小马哥 Java 训练营 第四期 Java 分布式架构 - Java架构优化Java架构优化是一个持续的过程，旨在提升系统的性能、可维护性、可扩展性和整体质量。 系统解耦微服务架构：将大型应用拆分成小型服务，每个服务负责一部分功能，以提高系统的可维护性和可扩展性。事件驱动：使用事件驱动模型来解耦系统组件，提高响应速度。4. 日志管理：合理使用日志系统，如Logback或Log4j，记录关键信息，便于问题排查。10. 资源优化资源管理：优化资源使用，如减少内存泄漏，避免线程资源浪费。
45210编辑于 2024-04-19- 来自专栏sktj
Kubernetes(4:架构)
Master 是cluster 的大脑： 运行 kube-apiserver kube-scheduler kube-controller-manager etcd pod restful api scheduler 调度器Scheduler负责决定将Pod放在哪个Node上运行。Scheduler在调度 时会充分考虑Cluster的拓扑结构，当前各个节点的负载，以及应用对高可用、性能、数据亲和性的需求。 Controller Manager负责管理Cluster各种资源，保证资源处于预期的状态。Controller Manager由多种controller组成，包括replicationcontroller、endpoints controller、namespace controller、serviceaccounts controller等。 etcd负责保存Kubernetes Cluster的配置信息和各种资源的状态信息。当数据发生变化时，etcd会快速地通知Kubernetes相关组件。 Pod要能够相互通信，Kubernetes Cluster必须部署Pod网络，flannel是其中一个可选方案。
40820发布于 2019-09-24 - 来自专栏Java工程师面试八股文
分布式架构技术
分布式架构技术 参考：https://www.cnblogs.com/expiator/p/10201004.html 一、分布式缓存Redis https://blog.csdn.net/hhssaaa /article/details/111114967（自己总结的分布式缓存文章） https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的 Redis知识梳理） 二、分布式锁Redis/Zookeeper https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的Redis知识梳理 ） Redis setnx实现； Redission； Zookeeper 三、分布式服务（Dubbo或SpringCloud） https://blog.csdn.net/hhssaaa/article /details/112210251（自己总结的分布式服务） 四、分布式协调者Zookeeper https://blog.csdn.net/hhssaaa/article/details/112783028
1.4K00发布于 2021-02-13 - 来自专栏Linyb极客之路
初识分布式架构
分布式架构的常见概念 集群 小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。 ? 分布式 为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙不过来了，又请了个配菜师，两个配菜师关系是集群。 ? 节点 节点是指一个可以独立按照分布式协议完成一组逻辑的程序个体。在具体的项目中，一个节点表示的是一个操作系统上的进程。 在这个过程中，开发模式、技术架构等都会发生非常大的变化。 阶段一，单应用架构 网站的初期也可以认为是互联网发展的早起，我们经常会在单机上跑我们所有的程序和软件。 前期通过这些技术能够很好的解决各个服务之间通信问题，但是互联网的发展是持续的，所以架构的演变和优化还在持续。 架构全局图 ?
1.3K10发布于 2018-07-26 - 来自专栏程序人生 阅读快乐
《面向模式的软件架构分布式计算的模式语言 卷4》
迄今为止，人们提出的软件开发模式有不少是关于分布式计算的，但人们始终无法以完整的视角了解分布式计算中各种模式是如何协同工作、取长补短的。构建复杂的分布式系统似乎成为了永远也无法精通的一门手艺。 本书是经典的POSA系列的第4卷，介绍了一种模式设计语言，将分布式系统开发中的114个模式联系起来。 书中首先介绍了一些分布式系统和模式语言的概念，然后通过一个仓库管理流程控制系统的例子，介绍如何使用模式语言设计分布式系统，最后介绍模式语言本身。 使用这一模式语言，人们可以有效地解决许多与分布式系统开发相关的技术问题，如 ★ 对象交互 ★ 接口与组件划分 ★ 应用控制 ★ 资源管理 ★ 并发与同步 本书从实用角度展示了如何从现有的主要模式中整合出一门全面的模式语言 ，用于开发分布式计算中间件及应用程序。
65210发布于 2018-10-10 - 来自专栏用户4352451的专栏
分布式系统架构-----异地多活架构
分布式系统架构-----异地多活架构 背景 最近公司在搞异地多活，特来写篇文章来学习和回顾一下。 异地多活看字面意思 ：不通的地方部署服务。 这些自然灾害我们是不可避免的所以我们得从架构层面解决这种突发问题。 异地多活架构 1. 什么是异地多活架构？ 异地：不同的地理位置，多活：不同的地理位置的服务都能独立提供服务。 但是像这种出现广州地震那么这种情况这种架构仍然解决不了问题的，但是我们结合故障的发生的概率和架构的复杂度之间取一个平衡的话，那对于这种架构来是最优的。 大概服务的物理架构图如下： 从上面架构图可知： mysql 采用主从机制 redis 使用两个集群，通过双写实时同步 quee采用的主备用 job 和 服务就是两个异地集群 遇到的问题 服务数据一致性问题 延时问题 整个服务搭建好后总共耗时多了2-4ms 对于我们服务来讲还是可以接受的。
2.2K11编辑于 2022-05-05 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能 sentinel获取当前的master instance；读：从redis node中基于权重选取一个实例读取，失败/超时则轮询其他实例；要想详细了解redis的面试过程中的问题，可以参考下面的思维导图自行整理：4.
72010编辑于 2025-01-20 - 来自专栏全栈程序员必看
java分布式（分布式架构）「建议收藏」
开头的话，架构多半和业务关联在一起，如果只是简单的图书管理系统、选课系统或者什么简单的财务系统，用不着分布式。只有大型公司、高并发的业务才需要分布式的帮助。 4、反向代理服务器 单台http服务器的性能总是有限的，所以实际业务场景下一般会使用nginx作为代理服务器。通过代理软件，用户的数据请求会被均衡分配到不同的http服务器上面。 业务量的激增、用户的需求，导致整个软件的架构一直在改变。好的软件架构不光可以满足当前的业务需要，而且为未来的扩展打下基础。 从软件架构来说，java和分布式这个主题，可以给大家带来很多积极和有益的思考。 说到架构，或者软件框架，这个和os没有关系，和编译器、编程语言没有多大关系。 分布式架构里面有成功、失败、超时三个情况，而超时就是最大的问题。所以，如何处理这个超时问题才是重中之重。当然，很多朋友都听过cap理论，也就是高可用性、性能、一致性，一般只能三者取其二。
2.9K20编辑于 2022-08-12 - 来自专栏小脑斧科技博客
分布式架构 Broker 简介
概述 随着业务规模和复杂性的不断增长，分布式计算成为了数据持久化、运算高性能的必要选择，然而，分布式多机器、多集群的协作成为了一个问题，如何让规模巨大的多机器甚至多个集群协同工作呢？ 解决问题的方法就是抽象化的分布式架构，通过代理的方式让客户端与服务端解耦，使各种突发事件能够被透明化的解决，同时，服务的调用者期望服务对他而言足够简单，最好是像调用本地服务一样简单，各种分布式架构应运而生 同时，由于模块化、抽象化，让整个架构各组件之间耦合度很低，Server 注册即可用，大大增加了可伸缩性、可维护性，动态扩展变得简单而高效。 3.2. 4. 这样的搞复杂度让整个架构过于庞大，除非分布式计算任务太过复杂，通常使用者都会对这个架构做出不同程度的简化，比如 Client、Server 公用一个或多个 Broker、去除 Bridge、统一跨平台通信协议等
2.7K30编辑于 2022-06-27 - 来自专栏cloudskyme
分布式爬虫技术架构
webmagic webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 众推 用整体正在进行中，目前积中在分布式爬虫阶段。 ? 目前设计阶段的结构为： ? 基本思想为： WEB：界面及功能部分。 SAMPLES：示例部分。 CORE：需要调用的核心包。 CDOOP：分布式处理部分。 ADAPTER：代理适配部分。 STORE：存储层。 目前项目的地址在： https://github.com/zongtui/zongtui-webcrawler
1.3K60发布于 2018-03-20 - 来自专栏IT架构圈
『互联网架构』软件架构-分布式架构（14）
4个9，5个9并不是说后面设计的，而是在开发之初就要考虑的。 ? 分布式服务的发展历程 J2EE架构 俗称JEE。对于大概有5年以上工作经验的老铁，应该都听过这个名词。基本分为3层。 微服务架构 最流行的架构，跟传统架构是一脉相承的，并不是矛盾的。采用的是分层的概念，上层的服务依赖下层的服务，基本两层，第一层：业务服务一；第二层：业务服务2,3,4。 分布式服务架构的精髓 敏捷上线，微服务下的自治，有效的减少不可用的因素。服务化和微服务都使用了分而治之的思想，分布式服务和分布式系统架构里面，无论是提高性能，提高吞吐量，提高敏捷性。 ? 微服务架构的痛点 一致性 强一致性和弱一致性 高性能 容量评估和性能测试 高可用 4个9和5个9 可扩展 可修改，迭代新功能，可插拔 可伸缩 应用层和资源层，随着硬件投入的增加性能和能力相应的增长 安全性 开关要能开能关 迁移开关要大小力度都有 PS：了解分布式架构，是对自己从心智上的一种提升，敲代码只是往下看，建议多往前方看看。架构这条路不好走，需要多接触，多趟多走，才能前方一路小平破。
1.2K20发布于 2019-03-19 - 来自专栏纯洁的微笑
分布式架构之美
一、前言 我们都知道，当今无论在BAT这样的大公司，还是各种各样的小公司，甚至是传统行业刚转互联网的企业都开始使用分布式架构，那么什么叫分布式架构呢？分布式架构有什么好处呢？ 分布式架构经过了怎样的发展呢？是哪家企业开启了分布式架构的时代呢？读完本文，你就会得到这些答案，下面让我们一起来开启分布式概述的奇妙之旅吧！ 1964 年 4 月 7 日，在吉恩.阿姆达尔(IBM 大型机之父, 被认为是有史以来最伟大的计算机设计师之一)的带领下，耗费 50 亿美元，历时三年，第一台 IBM 大型机 SYSTEM/360 诞生了 4.副本机制 副本(replica/copy)是指在分布式系统中为数据或服务提供的冗余。 数据副本指在不同的节点上持久化同一份数据，当某一个节点出现数据丢失时，可以从副本上恢复数据。 三态 在集中式架构中，调用一个接口返回的结果只有两种， 成功或失败。但是在分布式架构中，会出现“超时”这个状态。
87940发布于 2018-07-20 - 来自专栏暴走大数据
聊聊分布式系统架构
4、分布式系统的关键Zookeeper 目标是解决分布式系统的几个问题：集群集中化配置，集群节点动态发现机制，简单可靠的节点Leader选举机制，分布式锁。 二、分布式系统架构的主要内容 分布式系统架构的主要内容包括： RPC和对象序列化 分布式内存缓存技术、分布式内存计算 分布式存储 分布式计算 全文检索 消息队列 容器 1、RPC和对象序列化 RPC设计的初衷是设计一套远程通信的通用框架 服务注册、服务发现和服务监控后来成为通用分布式系统架构的核心和关键技术基础，也被赋予一个新概念--“服务治理框架”，最早的说法可能来自BAT的一些架构师。 淘汰最近最少使用的条目；3、Adaptive Replacement Cache（ARC）策略--该策略由两个LRU组成，第1个LRU包含的条目是最近只被使用过一次的条目，第2个LRU包含的是最近被使用过二次的条目；4、 4、消息队列 第一代消息队列：J2EE时代的产物，强调企业级特性，比如消息持久存储与事务的要求，都遵循JMS规范，最著名的是开源Apache ActiveMQ。
1.6K30发布于 2019-09-04 - 来自专栏洁癖是一只狗
分布式服务架构(二)
，否则难以支持亿级流量，即使关系型数据库，单机也难以支持存储和吞吐量的性能需求，如果必须要这样做，就应尽量把数据放到数据库一个分片上，这样就可以利用数据库解决不一致的问题， CAP C:一致性，在分布式系统中 将相关的数据分到数据库的同一个分区，任然可以解决数据一致性问题 由于业务限制，并不能将数据放到一个数据库分片，因此我们记录事务的软状态，如果出现不一致，就可以通过系统自动化或者人工干预修复不一致的问题 分布式一致性协议 实践中我们把要执行的异步操作封装后持久化入库,然后通过定时任务捞取任务进行补偿操作实现异步确保模式，只要定时系统足够健壮，则任何任务最重都会被成功执行 4.定时校验模式 ? 在分布式系统中构建了唯一的id,调用链的等基础设施后，我们可以很容易对系统间的不一致进行核对，通常需要第三方的定时核对系统，从第三方监控服务执行的健康程度. 5.可靠消息模式 在分布式系统中，我们经常使用的就是上面提到的异步确认模式，为了让一步操作的调用方和被调用方充分的解耦，采用消息队列，具有可以伸缩性，可分片，可持久化等， 消息的可靠发送 消息的可靠发送认为是尽最大努力发送消息通知
91120发布于 2021-07-16 - 来自专栏无敌码农
什么是分布式架构?
其部署简单，不用考虑多个节点间的分布式协作问题。 三、分布式系统 分布式系统是一个由硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。 3.3 并发性 同一分布式系统中的多个节点，可能会并发地操作一些共享资源，诸如数据库或分布式存储等，如何高效地协调分布式并发操作也成为了分布式系统架构与设计中最大的挑战之一。 5.2 分布式事务 分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于分布式系统的不同节点上，通常一个分布式事务中会涉及对多个数据源或业务系统的操作。 一个分布式事务可以看做是由多个分布式的操作序列组成，通常可以把这一系列分布式的操作序列称为子事务。 由于在分布式事务中，各个子事务的执行是分布式的，因此要实现一种能够保证ACID特性的分布式事务处理系统就显得格外复杂。
5.8K31发布于 2019-07-31 - 来自专栏洁癖是一只狗
分布式服务架构(一)
JEE是Java平台企业化的简称，如上就是JEE时代的典型架构，分为web层，业务逻辑层，以及数据存储层,不同层级有自己的职责，每个层级职责单一 虽然JEE对单体应用进行了分层，但是久而久之，随着业务的复杂逻辑迭代增加 很明显SSH框架和传统JEE架构类似，可分为三层，实现交互UI接口的Web Mvc层，实现业务员逻辑层Spring层，以及对象关系映射层Hibernate层，每层都比JEE对应的层次简单，更加轻量， 不需要开始整个应用服务器即可验证和测试，极大提高了效率这都是spring 的功劳 但是这中架构还是取向于传统的单体应用，业务逻辑耦合在一个项目中。 服务化架构 随着互联网快速突起环境下，传统的架构不能满足海量用户发起的高并发请求，无法突破耦合在一起的模块组件的性能瓶颈,且水平扩展也是很有限。 ，SOA理念在微服务架构中任然有效，微服务是在SOA服务化的基础上进行了严谨和叠加。
1.1K30发布于 2021-07-16 - 来自专栏Java后端技术
分布式架构之美~
一、前言 我们都知道，当今无论在BAT这样的大公司，还是各种各样的小公司，甚至是传统行业刚转互联网的企业都开始使用分布式架构，那么什么叫分布式架构呢？分布式架构有什么好处呢？ 分布式架构经过了怎样的发展呢？是哪家企业开启了分布式架构的时代呢？读完本文，你就会得到这些答案，下面让我们一起来开启分布式概述的奇妙之旅吧！ 1964 年 4 月 7 日，在吉恩.阿姆达尔(IBM 大型机之父, 被认为是有史以来最伟大的计算机设计师之一)的带领下，耗费 50 亿美元，历时三年，第一台 IBM 大型机 SYSTEM/360 诞生了 4.副本机制 副本(replica/copy)是指在分布式系统中为数据或服务提供的冗余。 数据副本指在不同的节点上持久化同一份数据，当某一个节点出现数据丢失时，可以从副本上恢复数据。 三态 在集中式架构中，调用一个接口返回的结果只有两种， 成功或失败。但是在分布式架构中，会出现“超时”这个状态。
94810发布于 2018-08-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号