- 综合排序
- 最热优先
- 最新优先
- 来自专栏小白晋级大师
分布式系统架构2：服务发现
1.概念服务发现指的是分布式系统中，服务实例动态注册自己的信息到注册中心，其他服务能发现这些实例的位置，实现服务间通信。为什么需要服务发现？对于分布式应用来说，服务发现不是可选项，而是必须的。 2.组成由注册中心和消费者组成注册中心Service Registry：服务实例将自己的元数据（IP、端口、健康状态等）注册到注册中心。 本身需要具备高可用性，通常通过分布式一致性协议（如Raft、Paxos）来保证数据的一致性和可靠性。比如：Netflix Eureka，它提供了一个用于注册和查询服务实例的 REST API。 适用场景：微服务架构中，服务实例与注册中心直接交互示例：Eureka：Spring Cloud中，服务通过 @EnableEurekaClient 注解实现主动注册。
44110编辑于 2024-12-16 - 来自专栏罗西的思考
并行分布式框架 Celery 之架构 (2)
[源码解析] 并行分布式框架 Celery 之架构 (2) 0x00 摘要 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 本文是系列第二篇，继续探究 Celery 架构。 0x01 上文回顾 前面我们用几篇文章分析了 Kombu，为 Celery 的分析打下了基础。 上文 [源码解析] 并行分布式框架 Celery 之架构 (1) 中，我们大致介绍了 Celery 的概念，用途和架构，现在回忆 Celery 的架构图如下： +-----------+ 对于 Consumer 来说， 1 是基本功能，这些功能组成了一个简单的非强壮的消息队列框架； 2 一般重要，可以实现一个高级一点的功能； 3 属于附加功能，同时也属于一点分布式的功能。 我们从负载均衡，容灾恢复，worke之间交互这三个角度来看看 Celery 如何实现分布式。
1.2K10发布于 2021-04-01 - 来自专栏罗西的思考
模型并行分布式训练Megatron (2) --- 整体架构
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 目录 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 0x00 摘要 0x01 启动 1.1 分布式启动 本文将对 Megatron 的基本架构做一下梳理。 本系列其他文章为: [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 0x01 启动 1.1 分布式启动 启动脚本在 examples/pretrain_bert_distributed.sh 假如数据并行度数为2，则例子为[g0, g2], [g1, g3], [g4, g6], [g5, g7], [g8, g10], [g9, g11], [g12, g14], [g13, g15]。 [4] [6] # Stage 1: [1] [3] [5] [7] # With 8 layers, 2 stages, and 2 virtual
3.5K20编辑于 2022-05-09 - 来自专栏JavaEdge
高可用系统架构(2)-Hystrix分布式系统高可用
1 是什么 在分布式系统中有时候某些服务出现故障很正常。 Hystrix可以让我们在分布式系统中对服务间的调用进行控制，加入一些调用延迟或者依赖故障的容错机制。 通过将依赖服务进行资源隔离，进而组织某个依赖服务出现故障的时候，这种故障在整个系统所有的依赖服务调用中进行蔓延，同时Hystrix还提供故障时的fallback降级机制 总而言之，Hystrix通过这些方法帮助我们提升分布式系统的可用性和稳定性 2 发展史 NetflixAPI团队从2011年开始做一些提升系统可用性和稳定性的工作，Hystrix就是从那时候开始发展出来的。 3 设计哲学 Hystrix是为了保证分布式系统的高可用性： 对依赖服务调用时出现的调用网络延迟和调用接口失败提供控制和容错保护 在复杂的分布式系统中，阻止某一个依赖服务的故障在整个系统蔓延 提供fail-fast 和快速恢复 提供fallback降级 支持近监控、报警以及运维 （1）阻止任何一个依赖服务耗尽所有的资源，比如tomcat中的所有线程资源 （2）避免请求排队和积压，采用限流和fail fast来控制故障
41630编辑于 2022-11-30 - 来自专栏叽叽西
lagou 爪哇 2-2 分布式集群架构场景化解决⽅案 笔记
ID）+A2表(ID)，需要⼀种在分布式集群架构中能够产⽣全局唯⼀ID的⽅案 第四部分：分布式调度问题（定时任务的分布式） 1.下列对定时任务描述正确的是() 您的回答: A可以实现异步处理B可以实现应用解耦 :C可以实现流量削峰 2.以下属于服务器端定时任务主要实现方式的是() 您的回答: A JDK中的Timer机制 c线程机制 D Quartz任务调度框架 3.分布式调度体现的两层主要含义是() war包 4）将war包部署到分布式集群架构中，要求一个Nginx节点，两个Tomcat节点 —> Nginx（轮询策略） —> Tomcat1—> Tomcat2 5）完成测试 思路和原理: 有两层含义 1）运⾏在分布式集群环境下的调度任务（同⼀个定时任务程序部署多份，只应该有⼀个定时任务在执 ⾏） 2）分布式调度—>定时任务的分布式—>定时任务的拆分（即为把⼀个⼤的作业任务拆分为多个⼩的作业任务 架构图 ElasticJob Lite 功能列表 弹性调度 支持任务在分布式场景下的分片和高可用 能够水平扩展任务的吞吐量和执行效率 任务处理能力随资源配备弹性伸缩 资源分配 在适合的时间将适合的资源分配给任务并使其生效
47710编辑于 2022-05-17 - 来自专栏Java工程师面试八股文
分布式架构技术
分布式架构技术 参考：https://www.cnblogs.com/expiator/p/10201004.html 一、分布式缓存Redis https://blog.csdn.net/hhssaaa /article/details/111114967（自己总结的分布式缓存文章） https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的 Redis知识梳理） 二、分布式锁Redis/Zookeeper https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的Redis知识梳理 ） Redis setnx实现； Redission； Zookeeper 三、分布式服务（Dubbo或SpringCloud） https://blog.csdn.net/hhssaaa/article /details/112210251（自己总结的分布式服务） 四、分布式协调者Zookeeper https://blog.csdn.net/hhssaaa/article/details/112783028
1.4K00发布于 2021-02-13 - 来自专栏Linyb极客之路
初识分布式架构
分布式架构的常见概念 集群 小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。 ? 分布式 为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙不过来了，又请了个配菜师，两个配菜师关系是集群。 ? 节点 节点是指一个可以独立按照分布式协议完成一组逻辑的程序个体。在具体的项目中，一个节点表示的是一个操作系统上的进程。 架构发展到这个阶段，各种问题也会慢慢呈现： 1. 用户请求由谁来转发到具体的应用服务器。 2. 用户如果每次访问到的服务器不一样，那么如何维护session。 ? 这个架构的变化会带来几个问题： 1. 主从数据库之间的数据同步，可以使用 mysql 自带的master-slave方式实现主从复制。 2.
1.3K10发布于 2018-07-26 - 来自专栏用户4352451的专栏
分布式系统架构-----异地多活架构
分布式系统架构-----异地多活架构 背景 最近公司在搞异地多活，特来写篇文章来学习和回顾一下。 异地多活看字面意思 ：不通的地方部署服务。 这些自然灾害我们是不可避免的所以我们得从架构层面解决这种突发问题。 异地多活架构 1. 什么是异地多活架构？ 异地：不同的地理位置，多活：不同的地理位置的服务都能独立提供服务。 2. 异地多活的问题 代价高，机器数量成倍增长 运维成本也高，因为部署在不同的城市（国家等等），所以系统运维的人力还有资源都是极高的。 但是像这种出现广州地震那么这种情况这种架构仍然解决不了问题的，但是我们结合故障的发生的概率和架构的复杂度之间取一个平衡的话，那对于这种架构来是最优的。 延时问题 整个服务搭建好后总共耗时多了2-4ms 对于我们服务来讲还是可以接受的。
2.2K11编辑于 2022-05-05 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能 节点与节点之间通过二进制协议进行通信，节点与客户端之间通过ascii协议进行通信在数据的放置策略上，Redis Cluster将整个key的数值域分成2的14次方16384个hash槽，每个节点上可以存储一个或多个 造成问题就是：数据库已经是最新数据，缓存中还是旧的，不一致的问题；2.为什么是删除缓存，而不是更新缓存？
72010编辑于 2025-01-20 - 来自专栏全栈程序员必看
java分布式（分布式架构）「建议收藏」
开头的话，架构多半和业务关联在一起，如果只是简单的图书管理系统、选课系统或者什么简单的财务系统，用不着分布式。只有大型公司、高并发的业务才需要分布式的帮助。 2、多台服务器模式 当文件越来越多的时候，单台服务器远远不能支撑业务的发展。 从软件架构来说，java和分布式这个主题，可以给大家带来很多积极和有益的思考。 说到架构，或者软件框架，这个和os没有关系，和编译器、编程语言没有多大关系。 分布式架构里面有成功、失败、超时三个情况，而超时就是最大的问题。所以，如何处理这个超时问题才是重中之重。当然，很多朋友都听过cap理论，也就是高可用性、性能、一致性，一般只能三者取其二。 参考文献： 1、分布式系统的事务处理，https://coolshell.cn/articles/10910.html 2、学习分布式系统需要怎样的知识？
2.9K20编辑于 2022-08-12 - 来自专栏小脑斧科技博客
分布式架构 Broker 简介
概述 随着业务规模和复杂性的不断增长，分布式计算成为了数据持久化、运算高性能的必要选择，然而，分布式多机器、多集群的协作成为了一个问题，如何让规模巨大的多机器甚至多个集群协同工作呢？ 解决问题的方法就是抽象化的分布式架构，通过代理的方式让客户端与服务端解耦，使各种突发事件能够被透明化的解决，同时，服务的调用者期望服务对他而言足够简单，最好是像调用本地服务一样简单，各种分布式架构应运而生 2. 同时，由于模块化、抽象化，让整个架构各组件之间耦合度很低，Server 注册即可用，大大增加了可伸缩性、可维护性，动态扩展变得简单而高效。 3.2. 这样的搞复杂度让整个架构过于庞大，除非分布式计算任务太过复杂，通常使用者都会对这个架构做出不同程度的简化，比如 Client、Server 公用一个或多个 Broker、去除 Bridge、统一跨平台通信协议等
2.7K30编辑于 2022-06-27 - 来自专栏cloudskyme
分布式爬虫技术架构
webmagic webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 众推 用整体正在进行中，目前积中在分布式爬虫阶段。 ? 目前设计阶段的结构为： ? 基本思想为： WEB：界面及功能部分。 SAMPLES：示例部分。 CORE：需要调用的核心包。 CDOOP：分布式处理部分。 ADAPTER：代理适配部分。 STORE：存储层。 目前项目的地址在： https://github.com/zongtui/zongtui-webcrawler
1.3K60发布于 2018-03-20 - 来自专栏IT架构圈
『互联网架构』软件架构-分布式架构（14）
分布式架构：原理，设计与实战，目前公司每个月都要出账，出账就是每个月有要把之前的一个月的账目盘算清楚，做到错误的0容忍，一笔都不能错，错一笔客户都会找你，偏准确性。 分布式服务的发展历程 J2EE架构 俗称JEE。对于大概有5年以上工作经验的老铁，应该都听过这个名词。基本分为3层。 微服务架构 最流行的架构，跟传统架构是一脉相承的，并不是矛盾的。采用的是分层的概念，上层的服务依赖下层的服务，基本两层，第一层：业务服务一；第二层：业务服务2,3,4。 分布式服务架构的精髓 敏捷上线，微服务下的自治，有效的减少不可用的因素。服务化和微服务都使用了分而治之的思想，分布式服务和分布式系统架构里面，无论是提高性能，提高吞吐量，提高敏捷性。 ? 开关要能开能关 迁移开关要大小力度都有 PS：了解分布式架构，是对自己从心智上的一种提升，敲代码只是往下看，建议多往前方看看。架构这条路不好走，需要多接触，多趟多走，才能前方一路小平破。
1.2K20发布于 2019-03-19 - 来自专栏纯洁的微笑
分布式架构之美
一、前言 我们都知道，当今无论在BAT这样的大公司，还是各种各样的小公司，甚至是传统行业刚转互联网的企业都开始使用分布式架构，那么什么叫分布式架构呢？分布式架构有什么好处呢？ 分布式架构经过了怎样的发展呢？是哪家企业开启了分布式架构的时代呢？读完本文，你就会得到这些答案，下面让我们一起来开启分布式概述的奇妙之旅吧！ 传统的商业数据库软件(Oracle,DB2)多以集中式架构为主， 那么这些传统数据库软件的最大特点就是将所有的数据都集中在 一个数据库中，只能依靠大型高端设备来提供高处理能力和扩展性。 2.分布式 又经过一段时间，店里的生意更加火爆了，小张为了让厨师们能专心炒菜，把菜做到极致，又请了个配菜师负责切菜、备菜、备料，那么厨师和配菜师的关系是分布式，后来一个配菜师也忙不过来了，小张就又请了两个配菜师 三态 在集中式架构中，调用一个接口返回的结果只有两种， 成功或失败。但是在分布式架构中，会出现“超时”这个状态。
87940发布于 2018-07-20 - 来自专栏暴走大数据
聊聊分布式系统架构
2、分布式系统的一致性原理 在说明一致性原理之前，可以先了解一下cap理论和base理论。 如果一个分布式系统具备如下特点，则可以称之为“微服务架构”：1、任何一个服务都由多个独立的进程提供服务，这些进程可以分布在多台物理机上，任何进程宕机都不会影响系统提供服务；2、整个系统是由多个微服务有机组成的一个分布式系统 以Redis2.x为基础改造的Codis是国内分布式缓存开源的一个典范，出自豆瓣网。 虽然当前基于J2EE架构的企业软件少了，但依然有不少商业软件仍然采用了企业级的J2EE架构。 5、微服务架构 当前主流的微服务架构可以分为三类：1、基于传统高性能RPC技术和服务治理的微服务框架，这个领域的王者是ZeroC IceGrid；2、以HTTP REST为通信机制的通用性微服务架构，最典型的为
1.6K30发布于 2019-09-04 - 来自专栏洁癖是一只狗
分布式服务架构(二)
，否则难以支持亿级流量，即使关系型数据库，单机也难以支持存储和吞吐量的性能需求，如果必须要这样做，就应尽量把数据放到数据库一个分片上，这样就可以利用数据库解决不一致的问题， CAP C:一致性，在分布式系统中 将相关的数据分到数据库的同一个分区，任然可以解决数据一致性问题 由于业务限制，并不能将数据放到一个数据库分片，因此我们记录事务的软状态，如果出现不一致，就可以通过系统自动化或者人工干预修复不一致的问题 分布式一致性协议 在分布式系统中构建了唯一的id,调用链的等基础设施后，我们可以很容易对系统间的不一致进行核对，通常需要第三方的定时核对系统，从第三方监控服务执行的健康程度. ，如果服务2没有明确回复，则可以尝试重新发送请求，服务2也要支持幂等性操作。 当内部超时的时候，这和三状态场景相似因此当服务1调用服务2超时，服务1需要根据服务2的最新状态，根据状态补偿后续操作，如果服务2根据最新状态,接受了请求，则继续后续操作，这种和同步三状态不一样的是，一旦处理成功
91120发布于 2021-07-16 - 来自专栏无敌码农
什么是分布式架构?
3.3 并发性 同一分布式系统中的多个节点，可能会并发地操作一些共享资源，诸如数据库或分布式存储等，如何高效地协调分布式并发操作也成为了分布式系统架构与设计中最大的挑战之一。 2. 该请求成功的被接收方接受后，并进行了处理，但是在将响应反馈给发送方时，发生了消息丢失现象。 5.2 分布式事务 分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于分布式系统的不同节点上，通常一个分布式事务中会涉及对多个数据源或业务系统的操作。 一个分布式事务可以看做是由多个分布式的操作序列组成，通常可以把这一系列分布式的操作序列称为子事务。 由于在分布式事务中，各个子事务的执行是分布式的，因此要实现一种能够保证ACID特性的分布式事务处理系统就显得格外复杂。
5.8K31发布于 2019-07-31 - 来自专栏洁癖是一只狗
分布式服务架构(一)
JEE是Java平台企业化的简称，如上就是JEE时代的典型架构，分为web层，业务逻辑层，以及数据存储层,不同层级有自己的职责，每个层级职责单一 虽然JEE对单体应用进行了分层，但是久而久之，随着业务的复杂逻辑迭代增加 很明显SSH框架和传统JEE架构类似，可分为三层，实现交互UI接口的Web Mvc层，实现业务员逻辑层Spring层，以及对象关系映射层Hibernate层，每层都比JEE对应的层次简单，更加轻量， 不需要开始整个应用服务器即可验证和测试，极大提高了效率这都是spring 的功劳 但是这中架构还是取向于传统的单体应用，业务逻辑耦合在一个项目中。 服务化架构 随着互联网快速突起环境下，传统的架构不能满足海量用户发起的高并发请求，无法突破耦合在一起的模块组件的性能瓶颈,且水平扩展也是很有限。 ，SOA理念在微服务架构中任然有效，微服务是在SOA服务化的基础上进行了严谨和叠加。
1.1K30发布于 2021-07-16 - 来自专栏Java后端技术
分布式架构之美~
一、前言 我们都知道，当今无论在BAT这样的大公司，还是各种各样的小公司，甚至是传统行业刚转互联网的企业都开始使用分布式架构，那么什么叫分布式架构呢？分布式架构有什么好处呢？ 分布式架构经过了怎样的发展呢？是哪家企业开启了分布式架构的时代呢？读完本文，你就会得到这些答案，下面让我们一起来开启分布式概述的奇妙之旅吧！ 传统的商业数据库软件(Oracle,DB2)多以集中式架构为主， 那么这些传统数据库软件的最大特点就是将所有的数据都集中在 一个数据库中，只能依靠大型高端设备来提供高处理能力和扩展性。 2.分布式 又经过一段时间，店里的生意更加火爆了，小张为了让厨师们能专心炒菜，把菜做到极致，又请了个配菜师负责切菜、备菜、备料，那么厨师和配菜师的关系是分布式，后来一个配菜师也忙不过来了，小张就又请了两个配菜师 三态 在集中式架构中，调用一个接口返回的结果只有两种， 成功或失败。但是在分布式架构中，会出现“超时”这个状态。
94810发布于 2018-08-09 - 来自专栏重归混沌
再谈分布式服务架构
在两年前，我曾经设计过一版，高可伸缩服务器架构， 但只进行了理论推演，并没有使用具体业务逻辑验证过。以这两年的经验来看，这个架构不具备可实施性。 在之前的架构中，我只考虑了Gate和其服务之间的交互。 然而，由于现代分布式数据库领域都还没有特别完美的ACID解决方案。我们的游戏服务之间的交互更不可能提供ACID功能了。 幸运的是，这个世界是平衡的。 我认为在游戏服务器的分布式领域中，我们只要阻止错误的发生就可以了。至于异常是避免不了的（比如超时)。 基于这个原则和我两年前的架构设计，我重新抽象了整个分布式架构。 API设计类似如下： ----master实例 local capacity = { ['auth'] = 1, ['gate'] = 2, ['role '] = 2, } local ok, err = master.start { listen = addr, capacity = capacity
56630发布于 2020-08-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号