- 综合排序
- 最热优先
- 最新优先
- 来自专栏小白晋级大师
分布式系统架构7：本地缓存
这是小卷对分布式系统架构学习的第10篇文章，在开始学习分布式缓存之前，先来学习本地缓存的理论基础，了解为什么需要用缓存 1.引入缓存的影响 我们在开发时，用到缓存的情况，无非就是为了减少客户端对相同资源的重复请求 引入缓存后，既有好处也有坏处 引入缓存负面影响： 开发角度，增加了系统复杂度，需考虑缓存失效、更新、一致性问题 运维角度，缓存会掩盖一些缺陷问题 安全角度，缓存可能泄密某些保密数据 引入缓存的理由： 为了缓解 CPU压力，将实时计算运行结果存储起来，节省CPU压力 为了缓解I/O压力，将原本对网络、磁盘的访问改为对内存的访问 2.缓存的属性 选择缓存时，主要考虑吞吐量、命中率、扩展功能、分布式支持。 前3个这篇文章会讲，下一篇再讲分布式缓存 2.1吞吐量 并发场景下，每秒操作数OPS，反映了缓存的工作效率 如Java8并发包的ConcurrentHashMap，线程安全实现原理是CAS+synchronized
31800编辑于 2025-01-17 - 来自专栏java达人
分布式系统模式7-High-Water Mark
为了获得更多可用的系统，我们可以在多个服务器上复制日志。使用领导者和追随者模式，领导者会将其所有日志条目复制到追随者法定数。
77120发布于 2020-12-16 - 来自专栏运维猫
CentOS7 搭建FastDFS分布式文件系统（下）
D4 E1 EE FB 05 12 1F 2C 39 46 53 60 6D 7A 87 94 A1 AE BB C8 D5 E2 EF FC 06 13 20 2D 3A 47 54 61 6E 7B 88 95 A2 AF BC C9 D6 E3 F0 FD 07 14 21 2E 3B 48 55 62 6F 7C 89 96 A3 B0 BD CA D7 E4 F1 FE 08 15 22 2F F3 0A 17 24 31 3E 4B 58 65 72 7F 8C 99 A6 B3 C0 CD DA E7 F4 0B 18 25 32 3F 4C 59 66 73 80 8D 9A A7 B4 F3 0A 17 24 31 3E 4B 58 65 72 7F 8C 99 A6 B3 C0 CD DA E7 F4 0B 18 25 32 3F 4C 59 66 73 80 8D 9A A7 B4 g_current_time instead of call time function * remove embed HTTP support 1.4 HTTP请求不能访问文件的原因 我们在使用FastDFS部署一个分布式文件系统的时候
84251发布于 2019-09-23 - 来自专栏北京马哥教育
在CentOS 7上安装分布式存储系统Ceph
Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。 配置列表如下： 软件环境准备 所有 Ceph 集群节点采用 CentOS 7.1 版本（CentOS-7-x86_64-Minimal-1503-01.iso），所有文件系统采用 Ceph 官方推荐的 xfs，所有节点的操作系统都装在 RAID1 上，其他的硬盘单独用，不做任何 RAID. 作者：运维生存时间 原文：http://www.ttlsa.com/linux/install-ceph-on-centos7/
1.9K70发布于 2018-05-02 - 来自专栏吴柯的运维笔记
使用CentOS 7搭建FastDFS分布式文件系统教程
“每个理性的IT人士都置顶了吴柯的运维笔记” FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题 原因：编译安装nginx的fastdfs插件的头文件没有找到，由于编译nginx时候系统会到/usr/local/include，而编译安装fastdfs-nginx-module时则默认保存在了/usr usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs #cp /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs 7.
1.9K80发布于 2018-04-19 - 来自专栏s09g的技术博客
用于松散耦合分布式系统的Chubby锁服务 (7)
配置、访问控制和元数据文件（类似于文件系统的超级块）很常见。 负面的缓存是很重要的。 平均而言，每个缓存文件有23万/2.4万≈10个客户使用。 在客户端测量的RPC读取延迟受到RPC系统和网络的限制；对于本地单元来说，它们低于1ms，但在反节点之间则是250ms。 4.2 Java clients Google的基础设施大多是C++语言，但越来越多的系统是用Java编写的[8]。 在正常的互联网命名系统（DNS）中，缓存是基于时间的。DNS条目有一个生存时间（TTL），当DNS数据在这段时间内没有被刷新时就会被丢弃。 这种情况在实践中很少见；在一个大系统中，几乎可以肯定的是，一些会话将无法签入，从而迫使新的主站等待最大的租赁时间。
52620编辑于 2022-07-06 - 来自专栏运维猫
CentOS7 搭建FastDFS分布式文件系统（上）
1.1 简介 FastDFS的作者淘宝资深架构余庆，这个优秀的轻量及的分布式文件系统的开源没多久，立马就火了。 FastDFS是为互联网应用量身定做的一套分布式文件存储系统，非常适合用来存储用户图片、视频、文档等文件。对于互联网应用，和其他分布式文件系统相比，优势非常明显。 1.2 详细介绍 FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 Storageserver作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。 7.校验整合 到这里，fastdfs的东西都已安装完成，最后我们还要确定一下，storage是否注册到了tracker中去。
88321发布于 2019-09-23 - 来自专栏wayn的程序开发
Kafka 在分布式系统中的 7 大应用场景
Kafka 最初是为分布式系统中海量日志处理而设计的。它可以通过持久化功能将消息保存到磁盘直到过期，并让消费者按照自己的节奏提取消息。 下面给大家介绍一下 Kafka 在分布式系统中的 7 个常用应用场景。 日志处理与分析 推荐数据流 系统监控与报警 CDC（数据变更捕获） 系统迁移 事件溯源 消息队列 1. 这样可以实现分布式系统中海量日志数据的处理与分析。 下图是一张典型的 ELK（Elastic-Logstash-Kibana）分布式日志采集架构。 购物车服务将日志数据写在 log 文件中。 7. 消息队列 Kafka 最常见的应用场景就是作为消息队列。Kafka 提供了一个可靠且可扩展的消息队列，可以处理大量数据。 7 大应用场景，感谢大家阅读。
2.6K51编辑于 2023-10-25 - 来自专栏java相关资料
CentOS7安装部署Apollo分布式配置管理系统
Apollo简介 Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境，不同分配的配置，配置修改后能够实时推送到应用端，并且具有规范的权限，流程治理等特性，适用于微服务配置管理场景 准备工作 首先将系统内的软件包升级到最新版（这步非必操作） yum -y upgrade 1.配置jdk环境 安装之前先检查一下系统有没有自带open-jdk rpm -qa |grep java rpm
3.3K20发布于 2020-09-08 - 来自专栏shysh95
分布式系统
随着互联网的发展，单一节点部署的方式已经无法满足需求，需要通过增加节点来线性扩展系统的负载和性能，因此系统架构也由原来的集中式架构向分布式架构转变。 分布式 分布式系统主要由以下几个特征： 分布性：分布式节点在空间上任意分布 对等性：节点没有主从之分。 数据副本冗余数据，防止数据丢失，服务副本指多个节点提供相同服务，一个节点宕机，服务仍然可用 并发性 缺乏全局时钟：分布式系统很难定义事件的先后顺序 故障总是发生 分布式环境面临的主要问题： 通信异常：分布式系统需要各个节点之间相互通信 CAP和BASE理论 为了构建一个兼顾可用性和一致性的分布式系统，诞生了CAP和BASE理论。 CAP理论 CAP理论：一个分布式系统不可能同时满足一致性、可用性和分区容错性，最多只能满足两个。 在分布式系统中，分区容错性应该是必选的，然后再在一致性和可用性中寻求平衡。
1.2K20发布于 2019-07-23 - 来自专栏Java后端技术栈cwnait
什么是分布式系统，如何学习分布式系统
正文 虽然本人在前面也写过好几篇分布式系统相关的文章，主要包括CAP理论、分布式存储与分布式事务，但对于分布式系统，并没有一个跟清晰的概念。 因此，一致希望能对分布式系统有一个更全面的认识，至少能够把分布式系统中的各个技术、理论串起来，了解他们在分布式系统分别解决什么问题，有哪些优秀的实现。 什么是分布式系统 分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。 分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。 分布式系统特性与衡量标准 透明性：使用分布式系统的用户并不关心系统是怎么实现的，也不关心读到的数据来自哪个节点。 简单来说，要比较方便的通过增加机器来应对数据量的增长，同时，当任务规模缩减的时候，可以撤掉一些多余的机器，达到动态伸缩的效果 可用性与可靠性：一般来说，分布式系统是需要长时间甚至7*24小时提供服务的。
1.2K31发布于 2019-12-01 - 来自专栏散尽浮华
分布式监控系统Zabbix--完整安装记录（7）-使用percona监控MySQL
前面已经介绍了分布式监控系统Zabbix-3.0.3-完整安装记录（2）-添加mysql监控，但是没有提供可以直接使用的Key，太过简陋，监控效果不佳。 （https://www.percona.com/downloads/percona-monitoring-plugins/） 直接下载：https://pan.baidu.com/s/1c1IE7zq 修改好的新模版文件下载地址是：https://pan.baidu.com/s/1i5j8IJ7 提取密码：ab8a ----------------------------------------
1.6K90发布于 2018-01-23 - 来自专栏chester技术分享
.NET分布式Orleans - 7 - Streaming
这种解耦使得系统更加灵活和可扩展。 实时性：通过Streaming，你可以实时地处理和响应数据流。这对于需要实时分析、监控或响应的场景非常有用。 这有助于构建松耦合、可扩展和响应式的系统。 分布式协作：Streaming也可以用于实现分布式系统中的协作和通信。例如，多个节点可以发布状态更新到流中，其他节点可以订阅这些流以获取最新的状态信息。
40710编辑于 2024-04-13 - 来自专栏Linyb极客之路
基于分布式系统的7种唯一ID实现方案，值得收藏
概述 系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。 比如：Master1 生成的是 1，4，7，10，Master2生成的是2,5,8,11 Master3生成的是 3,6,9,12。 各个Redis生成的ID为： A：1,6,11,16,21 B：2,7,12,17,22 C：3,8,13,18,23 D：4,9,14,19,24 E：5,10,15,20,25 这个，随便负载到哪个机确定好 缺点： 1）如果系统中没有Redis，还需要引入新的组件，增加系统复杂度。 2）需要编码和配置的工作量比较大。 ---- 7、 MongoDB的ObjectId MongoDB的ObjectId和snowflake算法类似。它设计成轻量型的，不同的机器都能用全局唯一的同种方法方便地生成它。
1.8K30发布于 2019-11-20 - 来自专栏分布式锁原理与源码
分布式锁—7.Curator的分布式锁
InterProcessMutex.acquire()尝试获取锁(4)LockInternals.attemptLock()尝试获取锁(5)不同客户端线程获取锁时的互斥实现(6)同一客户端线程可重入加锁的实现(7) (7)客户端线程释放锁的实现客户端线程释放锁时会调用InterProcessMutex的release()方法。首先对LockData里的重入计数器进行递减。当重入计数器大于0时，直接返回。 07a641d351f2-__READ__0000000004二.然后另一个客户端线程2过来尝试获取写锁于是该线程2会也会先在/locks目录下创建出如下写锁的临时顺序节点：/locks/9361-4fb7- 0000000005接着该线程会获取/locks目录的当前子节点列表并进行排序，结果如下：[43f3-4c2f-ba98-07a641d351f2-__READ__0000000004,9361-4fb7- (7)先获取写锁 + 再获取写锁的情形分析如果客户端线程1先获取了写锁，然后后面客户端线程2来获取这个写锁。此时线程2会发现自己创建的节点排在节点列表中的第二，不是第一。
20110编辑于 2025-05-15 - 来自专栏服务端技术杂谈
分布式系统分布式事务
分布式系统首先面对的问题是分布式事务 当我们采用分布式来提高系统性能时，首先面对的问题是面对和处理分布式事务。 分布式系统处理数据： 数据分区：把数据块放在不同的服务器上，采用一致性hash； 数据镜像：让所有服务器都有相同的数据，提供相同的服务； 第一种问题，单台机器出现问题，会存在数据丢失的问题。 这就是数据副本：出现某个节点的数据丢失时可以从副本读到，数据副本是分布式系统解决数据丢失的唯一手段。
1.1K81发布于 2018-04-16 - 来自专栏月梦·剑心的技术专栏
分布式系统概述
这就是分布式系统: 很多台计算机组成一个系统，协作运行大型的应用。 但是一个问题随之而来，那就是，在系统中增加了计算机之后，整个系统的性能也是随之增加的吗？可用性不随着系统的扩展而变化吗？未必。 这就引出了分布式系统的目标: 可扩展性(Scalability)。 如果一个用户不能访问系统，就称为不可用。 可用性也就是容错性，这展现出分布式系统相比于单机系统得天独厚的优势，一台计算机是没有容错性的，但是分布式系统可以在一堆不可靠的组件上构建一个可靠的系统。 后世的研究者为了绕开这个定理达成共识，不得不选择(1)将异步系统转换为同步系统 (2)使用随机性算法。 另一个不可能性定理为CAP定理，指导我们对于分布式系统性质的取舍。 Raft算法是目前最成功的分布式共识算法，是非拜占庭容错的，在分布式系统的下一篇文章，我将会写一下Raft算法。 参考文献 [1] Jay Kreps.
49430编辑于 2023-08-31 - 来自专栏个人分享
分布式系统简介
现在工作中发现大数据技术的底层还是分布式系统，那么重新拾起，总结下~ 一、分布式系统简介 分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。 2、透明性 将它的进程和资源实际上在多台计算机上分布这样一个事实隐藏起来，如果一个分布式系统能够在用户和应用程序面前呈现为单个计算机系统，这样的分布式系统就称为是透明的。 位置透明性：用户无法判别资源在系统中的物理位置。 迁移透明性：如果一个分布式系统中的资源移动不会影响该资源的访问方式，就可以说这种分布式系统能够提供迁移透明性。 可移植性：如果为分布式系统A开发了某个应用程序，并且另一个分布式系统B与A具有相同的接口，该应用程序在不做任何修改的情况下在B上执行的可行度。 参考文献：《分布式系统原理与泛型》
1.8K20发布于 2018-09-06 - 来自专栏FREE SOLO
分布式系统基础
分布式系统概念 What is a Distributed System? “一个分布式系统是若干个独立的计算机的集合， 但是对该系统的用户来说， 系统就像一台计算机一样。 ” 两个方面的含义： • 硬件方面： 各个计算机都是自治的 • 软件方面： 用户将整个系统看作是一台计算机 分布式系统的特点 优点 – 与集中式系统相比较 1、 经济性： 高的性能/价格比 2、 性能： 能产生单个大型主机不能达到的绝对性能 3、 应用的固有的分布性, 例如： • CSCW • 工作流 4、 可靠性高 • 多工系统的容错能力 5、 可扩充性强 • 系统演进能力 紧耦合式： 多用于并行系统 2. 松耦合式 ： 多用于分布式系统
86610发布于 2019-04-28 - 来自专栏分布式存储
分布式图片系统
，如何保证7x24小时的高可靠性服务，在这个契机下，我们推出了分布式图片系统。 ，提高了系统的响应速度并避免了资源的重复执行，造成浪费，提高了系统利用率 图片数据源采用了多套方案实现，为使公司原有业务、新开发业务能快速使用分布式图片系统提供支持，减少了使用系统的复杂性 其中一种数据数据源采用了高性能的 TFS分布式图片存储系统，利用多个数据节点，产生同一份数据的多份冗余备份，提高了数据的安全性，为遇到故障时数据的快速恢复提供了支持 能够应对客户端日益变化的希望获取各种图片尺寸的诉求，执行即时压缩和图片处理算法 整体系统采用模块化划分，将系统分为各个部分，减少了系统的耦合性，增强了每个模块的独立性，整个系统采用分布式部署结构，防止单点结构的出现，为防止系统出现雪崩提供支持 项目的目的 a). 前端模块-Nginx 使用nginx自定义module，接收http请求，在自定义module的handler中调用分布式图片实现。
1.1K30发布于 2020-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号