- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java工程师面试八股文
分布式架构技术
分布式架构技术 参考：https://www.cnblogs.com/expiator/p/10201004.html 一、分布式缓存Redis https://blog.csdn.net/hhssaaa /article/details/111114967（自己总结的分布式缓存文章） https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的 Redis知识梳理） 二、分布式锁Redis/Zookeeper https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的Redis知识梳理 ） Redis setnx实现； Redission； Zookeeper 三、分布式服务（Dubbo或SpringCloud） https://blog.csdn.net/hhssaaa/article /details/112210251（自己总结的分布式服务） 四、分布式协调者Zookeeper https://blog.csdn.net/hhssaaa/article/details/112783028
1.5K00发布于 2021-02-13 - 来自专栏cloudskyme
分布式爬虫技术架构
Spiderman主要是运用了像XPath、正则、表达式引擎等这些技术来实现数据抽取。 项目结构： ? 依赖关系如下： ? webmagic webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 众推 用整体正在进行中，目前积中在分布式爬虫阶段。 ? 目前设计阶段的结构为： ? 基本思想为： WEB：界面及功能部分。 SAMPLES：示例部分。 CORE：需要调用的核心包。 CDOOP：分布式处理部分。 ADAPTER：代理适配部分。 STORE：存储层。 目前项目的地址在： https://github.com/zongtui/zongtui-webcrawler
1.4K60发布于 2018-03-20 - 来自专栏IT大咖说
Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务
一、分布式架构详解 1、分布式发展历程 1.1 单点集中式 特点：App、DB、FileServer都部署在一台机器上。并且访问请求量较少 ? 1.7 分布式文件系统和分布式数据库 特点：数据库采用分布式数据库，文件系统采用分布式文件系统 随着业务的发展，最终数据库读写分离也将无法满足需求，需要采用分布式数据库和分布式文件系统来支撑 分布式数据库是数据库拆分后的最后方法 二、 分布式技术详解 1. 并发性 2. 分布性 大任务拆分成多个任务部署到多台机器上对外提供服务 3. 缺乏全局时钟 时间要统一 4. 对等性 一个服务部署在多台机器上是一样的，无任何差别 5. 把machine2和machine3其中一台机器的备份数据同步过来就可以了，这就是分区容错性 4. （服务降级、页面降级） 软状态：允许分布式系统出现中间状态。
97240发布于 2019-10-14 - 来自专栏小白晋级大师
分布式系统架构4：容错设计模式
这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”； 4.重试模式概念：适用于解决系统的瞬间故障，如：网络抖动、服务临时过载问题。通过设定调用超时时间和重试次数，在调用失败后自动重试，提升服务调用成功率。
53910编辑于 2024-12-20 - 来自专栏NeilNiu专栏
架构技术之分布式消息队列
异步架构的主要组成部分：消息生产者、消息消费者、分布式消息队列。 ，所以叫做异步架构。 4、失败隔离及自我修复，因为发布者不直接依赖消费者，所以分布式消息队列可以将消费者系统产生的错误异常与生产者系统隔离开来，生产者不受消费者失败的影响。 四、同时分布式消息队列也会遇到一些挑战：消息无序、消息重新入队列、竞态条件。 在消息队列的异步架构中也需要对共享资源的并发访问进行控制，以避免竞态条件的出现。
1.8K20编辑于 2023-03-06 - 来自专栏PHP在线
大型分布式网站架构技术总结
原文出处： ITFLY8 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。 对大型分布式网站架构有很好的参考价值。 一般使用负载均衡技术（需要解决Session同步问题），实现高可用。 服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 八、安全架构 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 十、大型架构举例 ?
1.1K70发布于 2018-03-08 - 来自专栏java思维导图
大型分布式网站架构技术总结
#0 系列目录# 大型分布式网站架构 大型分布式网站架构技术总结 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。 对大型分布式网站架构有很好的参考价值。 ? 4 #4 高性能架构# 以用户为中心，提供快速的网页访问体验。主要参数有较短的响应时间，较大的并发处理能力，较高的吞吐量，稳定的性能参数。可分为前端优化，应用层优化，代码层优化，存储层优化。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 8 #8 安全架构# 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 10 #10 大型架构举例# ?
1.9K41发布于 2018-03-15 - 来自专栏java一日一条
大型分布式网站架构技术总结
本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。 对大型分布式网站架构有很好的参考价值。 一般使用负载均衡技术（需要解决Session同步问题），实现高可用。 服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 八、安全架构 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 十、大型架构举例 ?
66220发布于 2018-09-18 - 来自专栏大数据开发
大数据平台架构：分布式技术架构简介
不可否认，大数据在这些年的发展当中，实现大数据处理的核心技术，始终是分布式。 基于分布式技术架构，有分布式存储、分布式计算等相应的技术框架组件，形成了完善的技术生态，为大数据处理需求任务提供相应的解决方案。今天我们就从大数据平台架构的角度，来聊聊分布式技术架构。 以Hadoop为例，Hadoop作为基础架构，形成了Hadoop技术生态圈，通过不同的功能组件，来共同满足个性化的企业数据需求。 主流分布式技术框架 从行业发展现状来说，Hadoop、Storm、Spark、Flink等开源分布式计算框架各有优势，也适用于不同的场景。 8.jpg 关于大数据平台架构，分布式技术架构，以上就为大家做了一个简单的入门介绍。企业基于大数据，需要引进大数据专业人才，熟悉通用的大数据平台架构，掌握主流技术框架是大数据人才的基本技能门槛。
3.1K30发布于 2020-09-29 - 来自专栏linux、Python学习
分布式架构系列: 负载均衡技术详解
从单机网站到分布式网站，很重要的区别是业务拆分和分布式部署，将应用拆分后，部署到不同的机器上，实现大规模分布式系统。 这就是典型的集群和负载均衡架构：如下图： <img src="https://pic<em>4</em>.zhimg.com/v2-8e7f9a85f61dfca1b<em>4</em>b22f6239b2614f_b.jpg" data-caption 安全防护；（负载均衡设备上做一些过滤，黑白名单等处理） 二、负载均衡分类 根据实现技术不同，可分为DNS负载均衡，HTTP负载均衡，IP负载均衡，链路层负载均衡等。 2.1 DNS负载均衡 最早的负载均衡技术，利用域名解析实现负载均衡，在DNS服务器，配置多个A记录，这些A记录对应的服务器构成集群。大型网站总是部分使用DNS解析，作为第一级负载均衡。 安全防护：硬件均衡设备除具备负载均衡功能外，还具备防火墙，防DDOS攻击等安全功能； （5）维护角度：提供良好的维护管理界面，售后服务和技术支持； （6）土豪公司：F5 Big Ip 价格：15w~55w
92710发布于 2019-03-29 - 来自专栏DevOps
分布式文件系统：JuiceFS 技术架构
一、整体架构 JuiceFS 文件系统由三个部分组成： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-90ZtG0tw-1687771442157)(https://juicefs.com 二、存储文件 与传统文件系统只能使用本地磁盘存储数据和对应的元数据的模式不同，JuiceFS 会将数据格式化以后存储在对象存储（云存储），同时会将文件的元数据存储在专门的元数据服务中，这样的架构让 JuiceFS 成为一个强一致性的高性能分布式文件系统。 每个 Slice 又会被进一步拆分成「Block」**（默认大小上限为 4 MiB），成为最终上传至对象存储的最小存储单元。 .png)] JuiceFS 的存储设计，还有着以下技术特点： 对于任意大小的文件，JuiceFS 都不进行合并存储，这也是为了性能考虑，避免读放大。
1.7K10编辑于 2024-03-29 - 来自专栏数字化 IT 从业者路径课
应用技术架构 —— 分布式应用多运行时架构
三方依赖（分布式能力）是否也可以以 sidecar 的方式独立于业务逻辑，并且提供统一的能力抽象，屏蔽底层的组件差异，成为技术架构演进的新方向。 Dapr 技术架构Dapr 架构主要由 API、Building Blocks、Components 三部分组成。Dapr APIDapr 利用标准 API 暴露各种分布式能力。 《数字化 IT 从业者知识体系》的初衷是为 IT 从业者提供的系统性的数字化知识体系，内容涵盖管理实践、工程实践、技术实践三个层次，涉及软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四大方面 在接下来的《数字化 IT 从业者知识体系》系列文章，何文强将从软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四个方面，为大家进行逐一分享介绍：1. 应用技术架构主要包括微服务架构、服务网格架构、无服务器架构、分布式多运行架构等；3. 应用部署与管理主要包括但不限于虚拟化技术、容器技术与容器编排等；4.
1.2K30编辑于 2023-03-22 - 来自专栏全栈工程师修炼之路
4.Jenkins进阶之分布式架构环境配置
[TOC] ---- 0x00 前言简述 Q: 什么是Jenkins的分布式节点构建? 答: Kubernetes （简称K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性 (2) Kubernetes 插件官方帮助 kubernetes Plugs : https://plugins.jenkins.io/kubernetes/ ---- 0x01 安装部署 (0) 分布式架构过程说明 将 Jenkins 的 Master/Agent 分布式架构直接部署在宿主机上不是一个很好的选择；但是它作为一个向容器化过度的中间阶段，是必要学习掌握的。 -> Asia/Beijing Step 10.最后最新进行常用插件安装，可以参考最后一章 ---- (3) 集群动态创建 Agent 节点 - Slave 节点 描述: 前面我们说过Jenkins的分布式架构
4K10编辑于 2022-09-29 - 来自专栏CODING DevOps
应用技术架构 —— 分布式应用多运行时架构
三方依赖（分布式能力）是否也可以以 sidecar 的方式独立于业务逻辑，并且提供统一的能力抽象，屏蔽底层的组件差异，成为技术架构演进的新方向。 Dapr 技术架构 Dapr 架构主要由 API、Building Blocks、Components 三部分组成。 Dapr API Dapr 利用标准 API 暴露各种分布式能力。 这是 dapr 对分布式能力抽象及架构的一个实例化解释。 《数字化 IT 从业者知识体系》的初衷是为 IT 从业者提供的系统性的数字化知识体系，内容涵盖管理实践、工程实践、技术实践三个层次，涉及软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四大方面 应用技术架构主要包括微服务架构、服务网格架构、无服务器架构、分布式多运行架构等； 3. 应用部署与管理主要包括但不限于虚拟化技术、容器技术与容器编排等； 4.
2.5K22编辑于 2022-03-16 - 来自专栏全栈学习之路
架构核心技术之分布式消息队列
今天我们来学习分布式消息队列，分布式消息队列的知识结构如下图。 主要介绍以下内容： 同步架构和异步架构的区别。异步架构的主要组成部分：消息生产者、消息消费者、分布式消息队列。 分布式消息队列异步架构的好处：异步处理实现快速响应；消费者易于伸缩；高并发访问压力的时削峰填谷，减轻访问高峰的系统负载压力；隔离失败任务，消费者处理任务失败，不会影响主业务流程；业务逻辑解耦，系统易于开发和维护 异步架构的挑战：消息无序，竞态条件，系统复杂度提高。 使用分布式消息队列异步架构的反模式：消息队列阻塞式调用，生产者消费者显式依赖，缺乏坏消息处理机制。 消息队列实现的方法有好多种，可以用共享文件夹，也可以用关系数据库或者 NoSQL 系统，当然最主要的还是使用专门的分布式消息队列服务器。 消息消费者 业务架构的第三个重要角色就是消息的消费者。 分享一个技术产品选型的小技巧，技术决策时可作为参考。当在几个相似的技术产品中进行选型决策，并且拿不定主意、感觉都差不多的时候，一个办法就是利用搜索引擎搜索一下这些产品的名字。
85540编辑于 2023-09-20 - 来自专栏罗西的思考
PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑
[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 目录 [源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 0x00 摘要 弹性训练系列文章如下： [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 [源码解析] PyTorch 我们在之前文章中介绍过 TCPStore，TCPStore 是基于 TCP 的分布式键值存储实现（类似于 Redis）。 是一个典型的 client-server 架构，服务器存储/保存数据，而存储客户端可以通过 TCP 连接到服务器存储并执行诸如set()插入键值对、get()检索键值对等操作。 _store 负责保存信息（分布式）。
2.6K20编辑于 2021-12-28 - 来自专栏Java架构师必看
Microsoft .NET Pet Shop 4 架构与技术分析
1．项目概述与架构分析微软刚推出了基于ASP.NET2.0下的PetShop4,该版本有了一数据库 1．项目概述与架构分析微软刚推出了基于ASP.NET 2.0下的Pet Shop 4, 该版本有了一个全新的用户界面。 正因为Petshop肩负着上面所说的重任，各方面必须是最优的，架构设计应该是经过慎重考虑的。所以其一经推出，便成为了开发者、架构师等人学习、研究的典范。 日前微软推出了基于.NET Framework 2.0开发的Petshop 4。 2.整体架构： ? 数据库：(暂略) 项目列表：从整体可以看出，Pet Shop 4的项目体系已经很庞大，考虑的方面也较3.0更全面复杂。 ?
96710发布于 2021-03-22 4A架构解析：业务、数据、应用、技术架构的区别与联系
在数字化转型的浪潮中，4A架构如同建筑的蓝图，为企业从业务愿景到技术落地提供了完整的规划框架，是避免"技术债"和"重复造轮子"的关键。 1. 什么是4A架构？ 技术保障：应用系统需要技术基础设施来运行 逆向影响： 同时，技术架构的演进（如云计算、大数据）也会反向推动业务创新，形成双向的促进作用。 4. 实践建议 4.1 架构设计原则 1. 自上而下设计：从业务架构开始，确保技术投资与业务目标一致 2. 保持层间一致：确保各层架构之间的对应关系和一致性 3. 适度超前规划：技术架构要有一定的前瞻性，但避免过度设计 4. 总结 4A架构为企业提供了一个系统性的思考框架，帮助企业在数字化转型中： · 对齐业务与IT：确保技术投资支撑业务战略 · 降低系统复杂度：通过分层设计管理复杂性 · 提升资产复用： 避免重复建设和信息孤岛 · 加速创新响应：建立灵活、可扩展的技术基础 理解并实践4A架构，能够让企业的数字化转型从"被动响应"变为"主动引领"，在激烈的市场竞争中构建持续的核心竞争力。
2.5K10编辑于 2025-12-23- 来自专栏架构师修炼
【分布式技术】分布式系统调度架构之单体调度，非掌握不可
我们每天都在谈论分布式架构，也有朋友经常问我分布式架构到底是个什么的架构。其实简单来说就是，分布式系统架构就是将多个服务器资源统一管理起来，然后挑选合适的服务器去处理用户的请求或者指定的任务。 当然分布式系统技术肯定不是这一篇能讲清楚的，前面也讲了两篇了，忘记了的可以回顾下(不好意思，懂分布式事务的你真的很了不起，下篇，面试是不是经常被问到分布式系统核心问题，这一次没人难倒你)我也会一直讲这方面技术的 当然，不同的分布式架构中调度器的原理可能会不相同，在我们开发中接触最多的最常见的就是单体调度器，即调度匹配任务和分布式系统中的空闲资源，直白的解释就是说调度器管理着任务和分布式中的所有资源。 下面我们就来具体学习下分布式架构中的单体调度器。 01 什么是单体调度？ 下一篇预告：讲讲分布式另外一种调度的方案 关于架构师修炼 本号旨在分享一线互联网各种技术架构解决方案，分布式以及高并发等相关专题，同时会将作者的学习总结进行整理并分享。 更多技术专题，敬请期待
1.4K20发布于 2020-07-20 小马哥 Java 分布式架构训练营4期
小马哥 Java 训练营 第四期 Java 分布式架构 - 多活架构多活架构介绍多活架构（Multi-Active Architecture）是一种设计用于提高系统可用性和容错性的架构模式。 数据复制和一致性：对于分布式系统中的数据，采用数据复制和分片技术，确保数据的可靠性和一致性。常见的技术包括主从复制、分区和副本。 小马哥 Java 训练营 第四期 Java 分布式架构 - 负载均衡架构设计负载均衡是多活架构中至关重要的一环，它确保了系统的各个节点能够平衡地处理流量，提高了系统的可用性和性能。 小马哥 Java 训练营 第四期 Java 分布式架构 - Java架构优化Java架构优化是一个持续的过程，旨在提升系统的性能、可维护性、可扩展性和整体质量。 系统解耦微服务架构：将大型应用拆分成小型服务，每个服务负责一部分功能，以提高系统的可维护性和可扩展性。事件驱动：使用事件驱动模型来解耦系统组件，提高响应速度。4.
52710编辑于 2024-04-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号