- 综合排序
- 最热优先
- 最新优先
- 来自专栏小白晋级大师
分布式系统架构3：服务容错
这是小卷对分布式系统架构学习的第3篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是个人要成长的话，还是需要往深一点的技术上去探索的1.为什么需要容错分布式系统的本质是不可靠的，一个大的服务集群中 实际应用场景：分布式系统中，单点故障时，流量调度系统不再给该节点分配流量，每隔5分钟自动检查节点是否恢复。 5个接口，这5个接口中只要有3个接口返回成功了就认为成功，问如何设计并实现周志明大佬的答复：我看这题是个圈套呀，大多数的架构设计题目，固定答案往往都是不对的。 因为做技术设计是为了解决实际问题，不能谈兵，所以方案要根据希望实现的目标而定： 如果目的是这项业务尽可能快速地完成，那就forking策略，5个一起调用，成功3个算过。 如果目的是这项业务尽可能少消耗资源，那就failfast策略，先对它们出错概率做个先验判断，排序后先调用最容易出错的，错够3次算失败，后面的不执行。
40610编辑于 2024-12-18 - 来自专栏java达人
分布式系统模式3-Segmented Log
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
50610发布于 2020-12-03 - 来自专栏毕业设计
分布式电商系统的设计与实现⑥-3
这一篇就是论文的第五部分系统详细设计与实现。因为该部分内容比较多，避免大家审阅疲劳，分为3个文章来进行解读。 nginx配置文件中进行配置FastDFS，在服务器中配置如下：server { listen 80; server_name localhost; location ~ /group[1-3]
29710编辑于 2024-06-21 - 来自专栏s09g的技术博客
用于松散耦合分布式系统的Chubby锁服务 (3)
在一个复杂的系统中，使用在大多数个人电脑上采用的方法是比较困难的，在个人电脑上管理软件可以通过指示用户关闭他的应用程序或重新启动来打破强制锁。 在分布式系统中，锁是复杂的，因为通信通常是不确定的，而且进程可能会独立失败。因此，一个持有锁L的进程可能会发出一个请求R，但随后失败。另一个进程可能会获得L，并在R到达其目的地之前执行一些行动。 在一个现有的复杂系统中的所有互动中引入序列号是很昂贵的。相反，Chubby提供了一种方法，只有那些使用锁的交互才可以引入序列号。
51410编辑于 2022-07-06 - 来自专栏分布式系统和大数据处理
Kafka分布式消息系统(搭建Kafka集群) - Part.3
Kafka分布式消息系统(搭建Kafka集群) - Part.3 2018-6-26 作者: 张子阳 分类: 分布式系统 在前面两篇文章中，我们了解了基本概念，也安装、配置好了zookeeper集群 在 《搭建zookeeper集群》 中，我们已经配置了系统环境，并且下载、解压了kafka安装包，所以这篇文章更多的是配置。 配置Kafka 配置文件打开数目 kafka为了提高吞吐量，会进行打开大量文件进行读写操作，需要配置系统支持更多的文件打开数量： # echo "* hard nofile 100000 * soft 三台服务器分别设置为1、2、3 broker.id=1 # 这里非常重要，注意kafka1是在上篇文章中讲DNS时配置的。 zookeeper一样，当使用服务进程的方式后台运行，可以通过以下命令查看启动日志： # cat logs/server.log 验证安装 可以使用两种方式来验证kafka的安装，一种是使用linux的系统命令
84130发布于 2018-09-29 - 来自专栏shysh95
分布式系统
随着互联网的发展，单一节点部署的方式已经无法满足需求，需要通过增加节点来线性扩展系统的负载和性能，因此系统架构也由原来的集中式架构向分布式架构转变。 分布式 分布式系统主要由以下几个特征： 分布性：分布式节点在空间上任意分布 对等性：节点没有主从之分。 数据副本冗余数据，防止数据丢失，服务副本指多个节点提供相同服务，一个节点宕机，服务仍然可用 并发性 缺乏全局时钟：分布式系统很难定义事件的先后顺序 故障总是发生 分布式环境面临的主要问题： 通信异常：分布式系统需要各个节点之间相互通信 CAP和BASE理论 为了构建一个兼顾可用性和一致性的分布式系统，诞生了CAP和BASE理论。 CAP理论 CAP理论：一个分布式系统不可能同时满足一致性、可用性和分区容错性，最多只能满足两个。 在分布式系统中，分区容错性应该是必选的，然后再在一致性和可用性中寻求平衡。
1.2K20发布于 2019-07-23 - 来自专栏Java后端技术栈cwnait
什么是分布式系统，如何学习分布式系统
正文 虽然本人在前面也写过好几篇分布式系统相关的文章，主要包括CAP理论、分布式存储与分布式事务，但对于分布式系统，并没有一个跟清晰的概念。 分布式系统涉及到很多的技术、理论与协议，很多人也说，分布式系统是“入门容易，深入难”，我之前的学习也只算是管中窥豹，只见得其中一斑。 因此，一致希望能对分布式系统有一个更全面的认识，至少能够把分布式系统中的各个技术、理论串起来，了解他们在分布式系统分别解决什么问题，有哪些优秀的实现。 什么是分布式系统 分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。 分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。 分布式系统特性与衡量标准 透明性：使用分布式系统的用户并不关心系统是怎么实现的，也不关心读到的数据来自哪个节点。
1.2K31发布于 2019-12-01 SpringBoot+Vue3+Element Plus 打造分布式存储系统
当计算能力像水一样弥漫在云端与边缘，存储便不再仅仅是数据的“仓库”，而是决定系统生死的“血管”。 一、 教育重塑：从“数据管理”向“架构视野”的认知升维在传统的计算机教育体系中，存储往往被简化为数据库操作或文件系统管理，是一种相对静态的技能。 分布式存储不再是单一的技术点，而是融合了网络通信、一致性算法、容灾备份与调度的复杂系统工程。 分布式存储技术通过“数据热分层”，让热数据留在边缘即时处理，冷数据归档云端长期存储，实现了科技架构的最优解。不懂分布式存储，就无法构建真正高可用的云原生应用。 然而，边缘端的分布式存储也带来了新的伦理挑战：数据该在何处驻留？谁拥有其控制权？掌握分布式存储技术，赋予了技术人员守护数据尊严的能力。
9110编辑于 2026-03-12- 来自专栏服务端技术杂谈
分布式系统分布式事务
分布式系统首先面对的问题是分布式事务 当我们采用分布式来提高系统性能时，首先面对的问题是面对和处理分布式事务。 分布式系统处理数据： 数据分区：把数据块放在不同的服务器上，采用一致性hash； 数据镜像：让所有服务器都有相同的数据，提供相同的服务； 第一种问题，单台机器出现问题，会存在数据丢失的问题。 这就是数据副本：出现某个节点的数据丢失时可以从副本读到，数据副本是分布式系统解决数据丢失的唯一手段。 方式： M/S方式，读写分离，主从； M/M方式，多个主节点，都做读写； 2PC/3PC，阶段提交，每个节点都知道自己成功失败，无法知道其他节点状态，需要引入一个协调者统一掌控所有节点的操作结果，最终指示节点是否把操作结果进行真正的提交
1.1K81发布于 2018-04-16 - 来自专栏月梦·剑心的技术专栏
分布式系统概述
这就是分布式系统: 很多台计算机组成一个系统，协作运行大型的应用。 但是一个问题随之而来，那就是，在系统中增加了计算机之后，整个系统的性能也是随之增加的吗？可用性不随着系统的扩展而变化吗？未必。 这就引出了分布式系统的目标: 可扩展性(Scalability)。 如果一个用户不能访问系统，就称为不可用。 可用性也就是容错性，这展现出分布式系统相比于单机系统得天独厚的优势，一台计算机是没有容错性的，但是分布式系统可以在一堆不可靠的组件上构建一个可靠的系统。 Raft算法是目前最成功的分布式共识算法，是非拜占庭容错的，在分布式系统的下一篇文章，我将会写一下Raft算法。 参考文献 [1] Jay Kreps. 分布式系统的一致性与共识性[EB/OL]. [2023-08-28]. https://zhuanlan.zhihu.com/p/35596768. [3] Fischer, M.
49430编辑于 2023-08-31 - 来自专栏个人分享
分布式系统简介
现在工作中发现大数据技术的底层还是分布式系统，那么重新拾起，总结下~ 一、分布式系统简介 分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。 2、透明性 将它的进程和资源实际上在多台计算机上分布这样一个事实隐藏起来，如果一个分布式系统能够在用户和应用程序面前呈现为单个计算机系统，这样的分布式系统就称为是透明的。 位置透明性：用户无法判别资源在系统中的物理位置。 迁移透明性：如果一个分布式系统中的资源移动不会影响该资源的访问方式，就可以说这种分布式系统能够提供迁移透明性。 故障透明性：意味着用户不会注意到某个资源无法正常工作，以及系统随后从故障中恢复的过程。 3、开放性 分布式系统还有一个重要目标。 参考文献：《分布式系统原理与泛型》
1.8K20发布于 2018-09-06 - 来自专栏FREE SOLO
分布式系统基础
分布式系统概念 What is a Distributed System? “一个分布式系统是若干个独立的计算机的集合， 但是对该系统的用户来说， 系统就像一台计算机一样。 ” 两个方面的含义： • 硬件方面： 各个计算机都是自治的 • 软件方面： 用户将整个系统看作是一台计算机 分布式系统的特点 优点 – 与集中式系统相比较 1、 经济性： 高的性能/价格比 2、 性能： 能产生单个大型主机不能达到的绝对性能 3、 应用的固有的分布性, 例如： • CSCW • 工作流 4、 可靠性高 • 多工系统的容错能力 5、 可扩充性强 • 系统演进能力 （evolution） 优点 --与独立PC机比较 1、 支持数据共享 • 文件 • 数据库 2、 支持设备共享 • 高档打印机 • 海量磁盘 3、 P2P通信 • email 紧耦合式： 多用于并行系统 2. 松耦合式 ： 多用于分布式系统
86610发布于 2019-04-28 - 来自专栏分布式存储
分布式图片系统
，如何保证7x24小时的高可靠性服务，在这个契机下，我们推出了分布式图片系统。 ，提高了系统的响应速度并避免了资源的重复执行，造成浪费，提高了系统利用率 图片数据源采用了多套方案实现，为使公司原有业务、新开发业务能快速使用分布式图片系统提供支持，减少了使用系统的复杂性 其中一种数据数据源采用了高性能的 TFS分布式图片存储系统，利用多个数据节点，产生同一份数据的多份冗余备份，提高了数据的安全性，为遇到故障时数据的快速恢复提供了支持 能够应对客户端日益变化的希望获取各种图片尺寸的诉求，执行即时压缩和图片处理算法 整体系统采用模块化划分，将系统分为各个部分，减少了系统的耦合性，增强了每个模块的独立性，整个系统采用分布式部署结构，防止单点结构的出现，为防止系统出现雪崩提供支持 项目的目的 a). 前端模块-Nginx 使用nginx自定义module，接收http请求，在自定义module的handler中调用分布式图片实现。
1.1K30发布于 2020-07-20 - 来自专栏Java成长之路
分布式系统入门
一、什么是分布式系统？ 分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅是通过消息传递进行通信和协调的系统。 首先分布式系统一定是由多个节点组成的系统，一般来说一个节点就是我们的一台计算机；然后这些节点不是孤立的，而是相互连通的；最后，这些连通的节点上部署了我们的组件，并且互相之间的操作会有协同。 二、为什么需要分布式系统？ 升级单机处理能力的性价比越来越低。 大型主机的人才培养成本非常之高，大型主机操作非常复杂，对运维人员的要求非常高。 大型主机非常昂贵。 集中式的系统具有明显的单点问题。大型主机虽然在性能和稳定性方面表现卓越，但是一旦出现了故障，那么整个系统都将处于不可用状态，其后果相当严重。 三、分布式系统基础知识 ? 四、分布式系统中有哪些难点？ 面对故障独立性：在分布式系统中，整个系统的一部分有问题而其他部分正常是经常发生的情况，我们称之为故障独立性。
1.7K30发布于 2018-09-29 - 来自专栏Spark学习技巧
分布式系统浅谈
但如果要延伸到高并发场景下就必然要了解分布式系统： 分布式系统特点 分布式系统：一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统 这是分布式系统，在不同的硬件，不同的软件 3. 并发性 并发性其实对我们来说并不模式，在学习多线程的时候已经或多或少学习过，多线程是并发的基础。 如果交通警察是交通系统的指挥官，而zookeeper就是各个节点组成分布式系统的指挥官。 分布式系统问题 如果把分布式系统和平时的交通系统进行对比，哪怕再稳健的交通系统也会有交通事故，分布式系统也有很多需要攻克的问题，比如：通讯异常、网络分区、三态、节点故障等。 1. 这种由于种种问题导致同一个区域（分布式集群）有两个相互冲突的负责人的时候就会出现这种精神分裂的情况，在这里称为脑裂，也叫网络分区。 3. 三态 三态是什么？
96020发布于 2021-03-05 - 来自专栏s09g的技术博客
零基础入门分布式系统 3. Time, clocks, and ordering of events
在本讲座中，我们将研究分布式系统中的时间概念。对时间的假设构成了分布式系统模型的一个关键部分。例如，基于超时的故障检测器需要测量时间以确定何时超时。 应用程序经常希望记录事件发生的时间和日期：例如，当调试分布式系统中的错误时，时间戳对调试很有帮助，因为它们允许我们重建同一时间不同节点上发生事件的场景。所有这些都需要对时间进行精确测量。 分布式系统中的时钟和时间： 调度器、超时、故障检测器、重试定时器 性能测量、统计、分析 日志文件和数据库：记录事件发生的时间 有时间限制的数据（如缓存条目） 确定几个节点上的事件顺序 我们区分了两种类型的时钟 然而，操作系统和分布式系统经常依靠高精度的时间戳来精确测量时间，在这种情况下，一秒钟的差异都是非常明显的，忽略闰秒是非常危险的。 3.3 Causality and happens-before 现在我们将继续讨论分布式系统中的事件排序问题，这与时间的概念密切相关。
1.2K20编辑于 2022-07-06 - 来自专栏Java
浅谈分布式系统
虽然它也支持持久化功能，但其主要设计是为了在内存中操作数据 为了更好的学习Redis，我们得先了解一下分布式系统，只有在分布式系统中，才能发挥Redis的“威力”，如果只在单机程序中，可以直接通过变量来存储数据 1.4 集群（Cluster） 指的就是引入多台主机/服务器，协同完成某项工作 分布式vs集群。 通常不⽤太严格区分两者的细微概念，细究的话，分布式强调的是物理形态，即⼯作在不同服务器上并且通过⽹络通信配合完成任务；⽽集群更在意逻辑形态，即是否为了完成特定服务⽬标。 随着后期网站访问量增长 一台主机硬件资源（CPU,内存，硬盘，网络）有限的情况下 可以选择俩种方式 1.开源 简单粗暴 增加更多的硬件资源（CPU 硬盘 ） 但主机扩容能力也是有限的 一旦引入多台主机，就是“分布式系统 资金 时间 3.引入负载均衡 前言： 为了解决用户流量向哪台应⽤服务器分发的问题，需要⼀个专⻔的系统组件做流量分发，此时负载均衡就是做这个“领导”，向每台应用服务器分配均衡任务，防止某台服务器压力过大
33610编辑于 2024-11-20 - 来自专栏程序人生
谈谈分布式系统
今天我们先寻其最重要的一个根：分布式系统。这个题目对互联网从业者来说，看着可笑，谁敢说自己不了解分布式系统啊？ 所以在分布式系统里很多时候我们需要一致性，来确保某些东西是有序的，大家在同一个 page，否则这个系统会走入歧途。 Lamport timestamps 学术价值大于实际价值，并没有系统实际使用，然而在它之上演进出的 vector clock 广泛被 AWS S3，DynamoDB，Riak 等系统采用，用于确保同一个 分布式系统中的坑 上文中我们已经把分布式系统中最基本的要素过了一下。接下来我们踩踩坑。 坑一：network is reliable。 有机会再写本文没有展开讲的共识机制，它是分布式系统的基石。
1.1K100发布于 2018-03-29 - 来自专栏微信公众号【Java技术江湖】
分布式系统理论基础3： 时间、时钟和事件顺序
分布式系统的一些场景也需要记录和比较不同节点间事件发生的顺序，但不同于日常生活使用物理时钟记录时间，分布式系统使用逻辑时钟记录事件顺序关系，下面我们来看分布式系统中几种常见的逻辑时钟。 物理时钟 vs 逻辑时钟 可能有人会问，为什么分布式系统不使用物理时钟(physical clock)记录事件？每个事件对应打上一个时间戳，当需要比较顺序的时候比较相应时间戳就好了。 这是因为现实生活中物理时间有统一的标准，而分布式系统中每个节点记录的时间并不一样，即使设置了 NTP 时间同步节点间也存在毫秒级别的偏差[1][2]。 因而分布式系统需要有另外的方法记录事件顺序关系，这就是逻辑时钟(logical clock)。 ? 分布式系统中按是否存在节点交互可分为三类事件，一类发生于节点内部，二是发送事件，三是接收事件。Lamport时间戳原理如下： ?
98210发布于 2019-12-03 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 分布式缓存也是面试常见的问题，通常面试官会问为什么要用缓存，以及用的Redis是哪种模式，用的过程中遇到哪些问题这些1. 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能
72010编辑于 2025-01-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号