- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java工程师面试八股文
分布式架构技术
分布式架构技术 参考：https://www.cnblogs.com/expiator/p/10201004.html 一、分布式缓存Redis https://blog.csdn.net/hhssaaa /article/details/111114967（自己总结的分布式缓存文章） https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的 Redis知识梳理） 二、分布式锁Redis/Zookeeper https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的Redis知识梳理 ） Redis setnx实现； Redission； Zookeeper 三、分布式服务（Dubbo或SpringCloud） https://blog.csdn.net/hhssaaa/article /details/112210251（自己总结的分布式服务） 四、分布式协调者Zookeeper https://blog.csdn.net/hhssaaa/article/details/112783028
1.5K00发布于 2021-02-13 - 来自专栏cloudskyme
分布式爬虫技术架构
Spiderman主要是运用了像XPath、正则、表达式引擎等这些技术来实现数据抽取。 项目结构： ? 依赖关系如下： ? webmagic webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 众推 用整体正在进行中，目前积中在分布式爬虫阶段。 ? 目前设计阶段的结构为： ? 基本思想为： WEB：界面及功能部分。 SAMPLES：示例部分。 CORE：需要调用的核心包。 CDOOP：分布式处理部分。 ADAPTER：代理适配部分。 STORE：存储层。 目前项目的地址在： https://github.com/zongtui/zongtui-webcrawler
1.4K60发布于 2018-03-20 - 来自专栏IT大咖说
Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务
一、分布式架构详解 1、分布式发展历程 1.1 单点集中式 特点：App、DB、FileServer都部署在一台机器上。并且访问请求量较少 ? 1.7 分布式文件系统和分布式数据库 特点：数据库采用分布式数据库，文件系统采用分布式文件系统 随着业务的发展，最终数据库读写分离也将无法满足需求，需要采用分布式数据库和分布式文件系统来支撑 分布式数据库是数据库拆分后的最后方法 二、 分布式技术详解 1. 并发性 2. 分布性 大任务拆分成多个任务部署到多台机器上对外提供服务 3. 缺乏全局时钟 时间要统一 4. 对等性 一个服务部署在多台机器上是一样的，无任何差别 5. a.每个server都有一张选票，如（3,9），选票投自己。 b.每个server投完自己后，再分别投给其他还可用的服务器。 如把Server3的（3,9）分别投给Server4和Server5，一次类推 c.比较投票，比较逻辑：优先比较Zxid，Zxid相同时才比较myid。
97240发布于 2019-10-14 - 来自专栏NeilNiu专栏
架构技术之分布式消息队列
异步架构的主要组成部分：消息生产者、消息消费者、分布式消息队列。 ，所以叫做异步架构。 消息队列，是异步架构中的一个重要的组成部分，消息队列是消息发送的目的地，也是发给消费者过程中的一个缓冲。 四、同时分布式消息队列也会遇到一些挑战：消息无序、消息重新入队列、竞态条件。 在消息队列的异步架构中也需要对共享资源的并发访问进行控制，以避免竞态条件的出现。
1.8K20编辑于 2023-03-06 - 来自专栏PHP在线
大型分布式网站架构技术总结
原文出处： ITFLY8 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。 对大型分布式网站架构有很好的参考价值。 首先，需要从架构级别，在规划的时候，就考虑可用性。行业内一般用几个9表示可用性指标。比如四个9（99.99），一年内允许的不可用时间是53分钟。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 八、安全架构 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 十、大型架构举例 ?
1.1K70发布于 2018-03-08 - 来自专栏java思维导图
大型分布式网站架构技术总结
#0 系列目录# 大型分布式网站架构 大型分布式网站架构技术总结 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。 对大型分布式网站架构有很好的参考价值。 ? 首先，需要从架构级别，在规划的时候，就考虑可用性。行业内一般用几个9表示可用性指标。比如四个9（99.99），一年内允许的不可用时间是53分钟。 9 #9 敏捷性# 网站的架构设计，运维管理要适应变化，提供高伸缩性，高扩展性。方便的应对快速的业务发展，突增高流量访问等要求。 除上面介绍的架构要素外，还需要引入敏捷管理，敏捷开发的思想。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 10 #10 大型架构举例# ?
1.9K41发布于 2018-03-15 - 来自专栏java一日一条
大型分布式网站架构技术总结
本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。 对大型分布式网站架构有很好的参考价值。 首先，需要从架构级别，在规划的时候，就考虑可用性。行业内一般用几个9表示可用性指标。比如四个9（99.99），一年内允许的不可用时间是53分钟。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 八、安全架构 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 十、大型架构举例 ?
66220发布于 2018-09-18 - 来自专栏大数据开发
大数据平台架构：分布式技术架构简介
不可否认，大数据在这些年的发展当中，实现大数据处理的核心技术，始终是分布式。 基于分布式技术架构，有分布式存储、分布式计算等相应的技术框架组件，形成了完善的技术生态，为大数据处理需求任务提供相应的解决方案。今天我们就从大数据平台架构的角度，来聊聊分布式技术架构。 以Hadoop为例，Hadoop作为基础架构，形成了Hadoop技术生态圈，通过不同的功能组件，来共同满足个性化的企业数据需求。 主流分布式技术框架 从行业发展现状来说，Hadoop、Storm、Spark、Flink等开源分布式计算框架各有优势，也适用于不同的场景。 8.jpg 关于大数据平台架构，分布式技术架构，以上就为大家做了一个简单的入门介绍。企业基于大数据，需要引进大数据专业人才，熟悉通用的大数据平台架构，掌握主流技术框架是大数据人才的基本技能门槛。
3.1K30发布于 2020-09-29 - 来自专栏Java技术栈
高可用高并发的 9 种技术架构！
分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问 所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 ? 具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理；在分布式系统中可用通过分布式消息队列来实现异步。 异步架构的典型就是生产者消费者方式，两者不存在直接调用。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。 -END- 不错，转发分享一下吧 往期推荐 【1】京东购物车的 Java 架构实现及原理 【2】分布式作业 Elastic-Job 从理论到实战 【3】《阿里技术参考图册》发布，速度收藏 【4】最新后端架构师技术图谱
71250发布于 2018-07-31 - 来自专栏平凡文摘
高可用高并发的 9 种技术架构！
分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问 所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 ? 具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理；在分布式系统中可用通过分布式消息队列来实现异步。 异步架构的典型就是生产者消费者方式，两者不存在直接调用。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。 -END- 不错，转发分享一下吧 转载声明：本文转载自「Java技术栈」
82250发布于 2018-07-03 - 来自专栏linux、Python学习
分布式架构系列: 负载均衡技术详解
从单机网站到分布式网站，很重要的区别是业务拆分和分布式部署，将应用拆分后，部署到不同的机器上，实现大规模分布式系统。 这就是典型的集群和负载均衡架构：如下图： <img src="https://pic4.zhimg.com/v2-8e7f<em>9</em>a85f61dfca1b4b22f6239b2614f_b.jpg" data-caption ，加强网络处理能力）； 2.提供故障转移，实现高可用； 3.通过添加或减少服务器数量，提供网站伸缩性（扩展性）； 4.安全防护；（负载均衡设备上做一些过滤，黑白名单等处理） 二、负载均衡分类 根据实现技术不同 2.1 DNS负载均衡 最早的负载均衡技术，利用域名解析实现负载均衡，在DNS服务器，配置多个A记录，这些A记录对应的服务器构成集群。大型网站总是部分使用DNS解析，作为第一级负载均衡。 经过了良好的严格的测试，从经过大规模使用，在稳定性方面高； （4）安全防护：硬件均衡设备除具备负载均衡功能外，还具备防火墙，防DDOS攻击等安全功能； （5）维护角度：提供良好的维护管理界面，售后服务和技术支持
92710发布于 2019-03-29 - 来自专栏DevOps
分布式文件系统：JuiceFS 技术架构
一、整体架构 JuiceFS 文件系统由三个部分组成： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-90ZtG0tw-1687771442157)(https://juicefs.com /docs/zh/assets/images/juicefs-arch-new-ab6339cb1408945cc9b70dc091c523c5.png)] JuiceFS 客户端（Client）：所有文件读写 二、存储文件 与传统文件系统只能使用本地磁盘存储数据和对应的元数据的模式不同，JuiceFS 会将数据格式化以后存储在对象存储（云存储），同时会将文件的元数据存储在专门的元数据服务中，这样的架构让 JuiceFS 成为一个强一致性的高性能分布式文件系统。 assets/images/how-juicefs-stores-files-new-a5529b6935c59e4c6f36ac38dd1652f7.png)] JuiceFS 的存储设计，还有着以下技术特点
1.7K10编辑于 2024-03-29 - 来自专栏云社区全球资讯抢先看
9种高性能可用高并发的技术架构
1、分层 分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。 分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问 所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理;在分布式系统中可用通过分布式消息队列来实现异步。 异步架构的典型就是生产者消费者方式，两者不存在直接调用。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
2.3K00发布于 2017-12-25 - 来自专栏企鹅号快讯
9种高性能可用高并发的技术架构
1、分层 分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。 分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问 所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理;在分布式系统中可用通过分布式消息队列来实现异步。 异步架构的典型就是生产者消费者方式，两者不存在直接调用。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
70881发布于 2018-02-26 - 来自专栏JAVA高级架构
9种高性能可用高并发的技术架构
1、分层 分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。 分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问 所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 ? 具体实现则在单一服务器内部可用通过多线程共享内存对了的方式处理;在分布式系统中可用通过分布式消息队列来实现异步。 异步架构的典型就是生产者消费者方式，两者不存在直接调用。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
742110发布于 2018-04-19 - 来自专栏数字化 IT 从业者路径课
应用技术架构 —— 分布式应用多运行时架构
三方依赖（分布式能力）是否也可以以 sidecar 的方式独立于业务逻辑，并且提供统一的能力抽象，屏蔽底层的组件差异，成为技术架构演进的新方向。 Dapr 技术架构Dapr 架构主要由 API、Building Blocks、Components 三部分组成。Dapr APIDapr 利用标准 API 暴露各种分布式能力。 《数字化 IT 从业者知识体系》的初衷是为 IT 从业者提供的系统性的数字化知识体系，内容涵盖管理实践、工程实践、技术实践三个层次，涉及软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四大方面 在接下来的《数字化 IT 从业者知识体系》系列文章，何文强将从软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四个方面，为大家进行逐一分享介绍：1. 应用技术架构主要包括微服务架构、服务网格架构、无服务器架构、分布式多运行架构等；3. 应用部署与管理主要包括但不限于虚拟化技术、容器技术与容器编排等；4.
1.2K30编辑于 2023-03-22 - 来自专栏CODING DevOps
应用技术架构 —— 分布式应用多运行时架构
三方依赖（分布式能力）是否也可以以 sidecar 的方式独立于业务逻辑，并且提供统一的能力抽象，屏蔽底层的组件差异，成为技术架构演进的新方向。 Dapr 技术架构 Dapr 架构主要由 API、Building Blocks、Components 三部分组成。 Dapr API Dapr 利用标准 API 暴露各种分布式能力。 这是 dapr 对分布式能力抽象及架构的一个实例化解释。 《数字化 IT 从业者知识体系》的初衷是为 IT 从业者提供的系统性的数字化知识体系，内容涵盖管理实践、工程实践、技术实践三个层次，涉及软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四大方面 应用技术架构主要包括微服务架构、服务网格架构、无服务器架构、分布式多运行架构等； 3. 应用部署与管理主要包括但不限于虚拟化技术、容器技术与容器编排等； 4.
2.5K22编辑于 2022-03-16 - 来自专栏全栈学习之路
架构核心技术之分布式消息队列
今天我们来学习分布式消息队列，分布式消息队列的知识结构如下图。 主要介绍以下内容： 同步架构和异步架构的区别。异步架构的主要组成部分：消息生产者、消息消费者、分布式消息队列。 分布式消息队列异步架构的好处：异步处理实现快速响应；消费者易于伸缩；高并发访问压力的时削峰填谷，减轻访问高峰的系统负载压力；隔离失败任务，消费者处理任务失败，不会影响主业务流程；业务逻辑解耦，系统易于开发和维护 异步架构的挑战：消息无序，竞态条件，系统复杂度提高。 使用分布式消息队列异步架构的反模式：消息队列阻塞式调用，生产者消费者显式依赖，缺乏坏消息处理机制。 消息队列实现的方法有好多种，可以用共享文件夹，也可以用关系数据库或者 NoSQL 系统，当然最主要的还是使用专门的分布式消息队列服务器。 消息消费者 业务架构的第三个重要角色就是消息的消费者。 分享一个技术产品选型的小技巧，技术决策时可作为参考。当在几个相似的技术产品中进行选型决策，并且拿不定主意、感觉都差不多的时候，一个办法就是利用搜索引擎搜索一下这些产品的名字。
85540编辑于 2023-09-20 - 来自专栏活动盒子
9种高性能高可用高并发的技术架构
为此，在实践中提出了许多解决方案，以实现独立商城网站建设高性能、高可靠性、易伸缩、可扩展、安全等各种网上电子商城技术架构目标。 在网站的分层架构中，常见的为3层，即应用层、服务层、数据层。 所以，虽然分层架构模式最初的目的，是规划软件清晰的逻辑结构，以便于开发维护。但在网站的发展过程中，分层结构对网站支持高并发，向分布式方向的发展至关重要。 具体实现则在单一服务器内部可用通过多线程共享内存的方式处理；在分布式系统中可用通过分布式消息队列来实现异步。 异步架构的典型就是生产者消费者方式，两者不存在直接调用。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
2.1K30发布于 2019-04-18 - 来自专栏架构师修炼
【分布式技术】分布式系统调度架构之单体调度，非掌握不可
我们每天都在谈论分布式架构，也有朋友经常问我分布式架构到底是个什么的架构。其实简单来说就是，分布式系统架构就是将多个服务器资源统一管理起来，然后挑选合适的服务器去处理用户的请求或者指定的任务。 当然分布式系统技术肯定不是这一篇能讲清楚的，前面也讲了两篇了，忘记了的可以回顾下(不好意思，懂分布式事务的你真的很了不起，下篇，面试是不是经常被问到分布式系统核心问题，这一次没人难倒你)我也会一直讲这方面技术的 当然，不同的分布式架构中调度器的原理可能会不相同，在我们开发中接触最多的最常见的就是单体调度器，即调度匹配任务和分布式系统中的空闲资源，直白的解释就是说调度器管理着任务和分布式中的所有资源。 下面我们就来具体学习下分布式架构中的单体调度器。 01 什么是单体调度？ 下一篇预告：讲讲分布式另外一种调度的方案 关于架构师修炼 本号旨在分享一线互联网各种技术架构解决方案，分布式以及高并发等相关专题，同时会将作者的学习总结进行整理并分享。 更多技术专题，敬请期待
1.4K20发布于 2020-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号