- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java工程师面试八股文
分布式架构技术
分布式架构技术 参考：https://www.cnblogs.com/expiator/p/10201004.html 一、分布式缓存Redis https://blog.csdn.net/hhssaaa /article/details/111114967（自己总结的分布式缓存文章） https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的 Redis知识梳理） 二、分布式锁Redis/Zookeeper https://blog.csdn.net/hhssaaa/article/details/105428840（自己总结的Redis知识梳理 ） Redis setnx实现； Redission； Zookeeper 三、分布式服务（Dubbo或SpringCloud） https://blog.csdn.net/hhssaaa/article /details/112210251（自己总结的分布式服务） 四、分布式协调者Zookeeper https://blog.csdn.net/hhssaaa/article/details/112783028
1.5K00发布于 2021-02-13 - 来自专栏cloudskyme
分布式爬虫技术架构
Spiderman主要是运用了像XPath、正则、表达式引擎等这些技术来实现数据抽取。 项目结构： ? 依赖关系如下： ? webmagic webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 众推 用整体正在进行中，目前积中在分布式爬虫阶段。 ? 目前设计阶段的结构为： ? 基本思想为： WEB：界面及功能部分。 SAMPLES：示例部分。 CORE：需要调用的核心包。 CDOOP：分布式处理部分。 ADAPTER：代理适配部分。 STORE：存储层。 目前项目的地址在： https://github.com/zongtui/zongtui-webcrawler
1.4K60发布于 2018-03-20 - 来自专栏IT大咖说
Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务
一、分布式架构详解 1、分布式发展历程 1.1 单点集中式 特点：App、DB、FileServer都部署在一台机器上。并且访问请求量较少 ? 1.7 分布式文件系统和分布式数据库 特点：数据库采用分布式数据库，文件系统采用分布式文件系统 随着业务的发展，最终数据库读写分离也将无法满足需求，需要采用分布式数据库和分布式文件系统来支撑 分布式数据库是数据库拆分后的最后方法 二、 分布式技术详解 1. 并发性 2. 分布性 大任务拆分成多个任务部署到多台机器上对外提供服务 3. 缺乏全局时钟 时间要统一 4. 对等性 一个服务部署在多台机器上是一样的，无任何差别 5. （服务降级、页面降级） 软状态：允许分布式系统出现中间状态。 ，和自己保存的编号相同，因此把（编号2，进攻时间2）保存下来，同时让通信兵带信回去，内容为（Accepted）； 9）参谋2收到至少2个将军的（Accepted）内容，确认进攻时间已经被多数派接受； 10
97240发布于 2019-10-14 - 来自专栏NeilNiu专栏
架构技术之分布式消息队列
异步架构的主要组成部分：消息生产者、消息消费者、分布式消息队列。 ，所以叫做异步架构。 消息队列，是异步架构中的一个重要的组成部分，消息队列是消息发送的目的地，也是发给消费者过程中的一个缓冲。 四、同时分布式消息队列也会遇到一些挑战：消息无序、消息重新入队列、竞态条件。 在消息队列的异步架构中也需要对共享资源的并发访问进行控制，以避免竞态条件的出现。
1.8K20编辑于 2023-03-06 - 来自专栏PHP在线
大型分布式网站架构技术总结
原文出处： ITFLY8 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。 对大型分布式网站架构有很好的参考价值。 一般使用负载均衡技术（需要解决Session同步问题），实现高可用。 服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 八、安全架构 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 十、大型架构举例 ?
1.1K70发布于 2018-03-08 - 来自专栏java思维导图
大型分布式网站架构技术总结
#0 系列目录# 大型分布式网站架构 大型分布式网站架构技术总结 本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。 对大型分布式网站架构有很好的参考价值。 ? 一般使用负载均衡技术（需要解决Session同步问题），实现高可用。 服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 8 #8 安全架构# 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 10 #10 大型架构举例# ?
1.9K41发布于 2018-03-15 - 来自专栏java一日一条
大型分布式网站架构技术总结
本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。 对大型分布式网站架构有很好的参考价值。 一般使用负载均衡技术（需要解决Session同步问题），实现高可用。 服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。 分布式服务：公用模块服务化，提供其他系统使用，提高可重用性，扩展性。 八、安全架构 对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。 使业务，产品，技术，运维统一起来，随需应变，快速响应。 十、大型架构举例 ?
66320发布于 2018-09-18 - 来自专栏大数据开发
大数据平台架构：分布式技术架构简介
不可否认，大数据在这些年的发展当中，实现大数据处理的核心技术，始终是分布式。 基于分布式技术架构，有分布式存储、分布式计算等相应的技术框架组件，形成了完善的技术生态，为大数据处理需求任务提供相应的解决方案。今天我们就从大数据平台架构的角度，来聊聊分布式技术架构。 以Hadoop为例，Hadoop作为基础架构，形成了Hadoop技术生态圈，通过不同的功能组件，来共同满足个性化的企业数据需求。 主流分布式技术框架 从行业发展现状来说，Hadoop、Storm、Spark、Flink等开源分布式计算框架各有优势，也适用于不同的场景。 8.jpg 关于大数据平台架构，分布式技术架构，以上就为大家做了一个简单的入门介绍。企业基于大数据，需要引进大数据专业人才，熟悉通用的大数据平台架构，掌握主流技术框架是大数据人才的基本技能门槛。
3.1K30发布于 2020-09-29 - 来自专栏罗西的思考
PyTorch 分布式(10)------DistributedDataParallel 之 Reducer静态架构
[源码解析] PyTorch 分布式(10)------DistributedDataParallel之Reducer静态架构 目录 [源码解析] PyTorch 分布式(10)------DistributedDataParallel 之Reducer静态架构 0x00 摘要 0x01 引论 1.1 调用 0x02 Reducer 定义 0x03 Bucket 3.1 设计 3.2 定义 3.2.1 BucketReplica有几个 ，本文就看看其核心 Reducer 的静态架构。 ) [源码解析] PyTorch 分布式(4)------分布式应用基础概念 [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用 [源码解析 0xFF 参考 pytorch分布式系列3——分布式训练时，torch.utils.data.distributed.DistributedSampler做了什么？
1.5K40发布于 2021-11-25 - 来自专栏linux、Python学习
分布式架构系列: 负载均衡技术详解
从单机网站到分布式网站，很重要的区别是业务拆分和分布式部署，将应用拆分后，部署到不同的机器上，实现大规模分布式系统。 这就是典型的集群和负载均衡架构：如下图： <img src="https://pic4.zhimg.com/v2-8e7f9a85f61dfca1b4b22f6239b2614f_b.jpg" data-caption 2.1 DNS负载均衡 最早的负载均衡技术，利用域名解析实现负载均衡，在DNS服务器，配置多个A记录，这些A记录对应的服务器构成集群。大型网站总是部分使用DNS解析，作为第一级负载均衡。 优点：根据权重，调节转发服务器的请求数目； 缺点：使用相对复杂； 四、硬件负载均衡 采用硬件的方式实现负载均衡，一般是单独的负载均衡服务器，价格昂贵，一般土豪级公司可以考虑，业界领先的有两款，F5和A10 ； （6）土豪公司：F5 Big Ip 价格：15w~55w不等；A10 价格：55w-100w不等； 缺点 （1）价格昂贵； （2）扩展能力差； 4.4 小结 （1）一般硬件的负载均衡也要做双机高可用
92810发布于 2019-03-29 - 来自专栏云云众生s
GenAI技术栈架构指南—10 个工具
现代数据湖参考架构中可以找到的这 10 项功能，以及每个功能的供应商工具和库。 译自 The Architect’s Guide to the GenAI Tech Stack — 10 Tools，作者 Keith Pijanowski。 换句话说，它应该包含训练大型语言模型、MLOps 工具、分布式训练等所需的计算能力。 基于这一思路，我们撰写了另一篇关于如何使用现代数据湖 参考架构来支持 AI/ML 需求的论文。 在这个前 10 名单中，每个条目都是支持生成式 AI 所需的功能。 1. 数据湖 企业数据湖建立在对象存储之上。 分布式训练 分布式模型训练是在多个计算设备或节点上同时训练机器学习模型的过程。这种方法可以加快训练过程，尤其是在需要大型数据集来训练复杂模型时。
73110编辑于 2024-06-05 - 来自专栏DevOps
分布式文件系统：JuiceFS 技术架构
一、整体架构 JuiceFS 文件系统由三个部分组成： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-90ZtG0tw-1687771442157)(https://juicefs.com 二、存储文件 与传统文件系统只能使用本地磁盘存储数据和对应的元数据的模式不同，JuiceFS 会将数据格式化以后存储在对象存储（云存储），同时会将文件的元数据存储在专门的元数据服务中，这样的架构让 JuiceFS 成为一个强一致性的高性能分布式文件系统。 assets/images/how-juicefs-stores-files-new-a5529b6935c59e4c6f36ac38dd1652f7.png)] JuiceFS 的存储设计，还有着以下技术特点 当使用量超过阈值时，JuiceFS Client 会主动为 Write 添加约 10ms 等待时间以减缓写入速度；若已用量超过阈值两倍，则会导致写入暂停直至缓冲区得到释放。
1.7K10编辑于 2024-03-29 - 来自专栏搜云库技术团队
通过10张图介绍，分布式架构如何演进！
一、什么是分布式架构 分布式系统（distributed system） 是建立在网络之上的软件系统。 内聚性：是指每一个数据库分布节点高度自治，有本地的数据库管理系统。 通过对MyCat的学习，加深分布式系统架构的理解，以及分布式相关的技术，分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。 集群与分布式； 负载均衡； 分布式相关的高可用、容灾等名词解释； Mycat中间件学习 三、分布式架构的演进 1、初始阶段架构 ? 特征：应用程序，数据库，文件等所有资源都放在一台服务器上。 横向拆分：将复用的业务拆分出来，独立部署为分布式服务，新增业务只需要调用这些分布式服务 横向拆分需要识别可复用的业务，设计服务接口，规范服务依赖关系。 10、分布式服务 ? 作者：清零者 出处：https://dwz.cn/AUNh6GJ2 更多技术干货 近期100多篇技术干货，升职加薪必看 Java并发编程75道面试题及答案 MQ消息队列应用场景比较介绍 动图+源码+总结
77410发布于 2019-10-17 - 来自专栏CODING DevOps
应用技术架构 —— 分布式应用多运行时架构
三方依赖（分布式能力）是否也可以以 sidecar 的方式独立于业务逻辑，并且提供统一的能力抽象，屏蔽底层的组件差异，成为技术架构演进的新方向。 Dapr 技术架构 Dapr 架构主要由 API、Building Blocks、Components 三部分组成。 Dapr API Dapr 利用标准 API 暴露各种分布式能力。 这是 dapr 对分布式能力抽象及架构的一个实例化解释。 《数字化 IT 从业者知识体系》的初衷是为 IT 从业者提供的系统性的数字化知识体系，内容涵盖管理实践、工程实践、技术实践三个层次，涉及软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四大方面 应用技术架构主要包括微服务架构、服务网格架构、无服务器架构、分布式多运行架构等； 3. 应用部署与管理主要包括但不限于虚拟化技术、容器技术与容器编排等； 4.
2.5K22编辑于 2022-03-16 - 来自专栏数字化 IT 从业者路径课
应用技术架构 —— 分布式应用多运行时架构
三方依赖（分布式能力）是否也可以以 sidecar 的方式独立于业务逻辑，并且提供统一的能力抽象，屏蔽底层的组件差异，成为技术架构演进的新方向。 Dapr 技术架构Dapr 架构主要由 API、Building Blocks、Components 三部分组成。Dapr APIDapr 利用标准 API 暴露各种分布式能力。 《数字化 IT 从业者知识体系》的初衷是为 IT 从业者提供的系统性的数字化知识体系，内容涵盖管理实践、工程实践、技术实践三个层次，涉及软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四大方面 在接下来的《数字化 IT 从业者知识体系》系列文章，何文强将从软件开发方法、应用技术架构、应用部署与管理、软件交付与协作四个方面，为大家进行逐一分享介绍：1. 应用技术架构主要包括微服务架构、服务网格架构、无服务器架构、分布式多运行架构等；3. 应用部署与管理主要包括但不限于虚拟化技术、容器技术与容器编排等；4.
1.2K30编辑于 2023-03-22 - 来自专栏全栈学习之路
架构核心技术之分布式消息队列
今天我们来学习分布式消息队列，分布式消息队列的知识结构如下图。 主要介绍以下内容： 同步架构和异步架构的区别。异步架构的主要组成部分：消息生产者、消息消费者、分布式消息队列。 分布式消息队列异步架构的好处：异步处理实现快速响应；消费者易于伸缩；高并发访问压力的时削峰填谷，减轻访问高峰的系统负载压力；隔离失败任务，消费者处理任务失败，不会影响主业务流程；业务逻辑解耦，系统易于开发和维护 异步架构的挑战：消息无序，竞态条件，系统复杂度提高。 使用分布式消息队列异步架构的反模式：消息队列阻塞式调用，生产者消费者显式依赖，缺乏坏消息处理机制。 如下图所示，因为消息的生产者是直接面向用户请求的，而用户的请求访问压力是不均衡的，比如淘宝每天的访问高峰是在上午 10 点左右，而新浪微博则可能在某个明星半夜发一条微博后突然出现访问高峰。 分享一个技术产品选型的小技巧，技术决策时可作为参考。当在几个相似的技术产品中进行选型决策，并且拿不定主意、感觉都差不多的时候，一个办法就是利用搜索引擎搜索一下这些产品的名字。
85540编辑于 2023-09-20 - 来自专栏腾讯云原生团队
今天，分享10+篇分布式云技术干货！
前言 分布式云作为一种新型的云计算服务，其意味着对于公有云、私有云和混合云的一种延展和聚集。在业界来看，分布式云形态本就是传统云形态和概念的深化，云上的用户可以运营在分布式云上。 【腾讯云原生】收集了关于分布式云系列干货文11篇，帮助你更好了解“分布式云”，一定要收藏哦！ 技术原理 腾讯云原生混合云-第三方集群弹EKS应对突发流量的利器 TKE 容器团队提供了一系列的产品能力来满足混合云场景。本文介绍其中针对突发流量场景的产品特性——第三方集群弹 EKS。 Clusternet 作为首批项目参与了《信息技术 开源 开源项目评估模型参考架构》测评，并成为通过评估的四个项目之一。 大数据云原生系列| 微信 Flink on Kubernetes 实战总结 白话边缘计算解决方案 SuperEdge 一文读懂 Kubernetes APIServer 原理 点个“在看”每天学习最新技术
1.3K60编辑于 2022-03-30 - 来自专栏架构师修炼
【分布式技术】分布式系统调度架构之单体调度，非掌握不可
我们每天都在谈论分布式架构，也有朋友经常问我分布式架构到底是个什么的架构。其实简单来说就是，分布式系统架构就是将多个服务器资源统一管理起来，然后挑选合适的服务器去处理用户的请求或者指定的任务。 当然分布式系统技术肯定不是这一篇能讲清楚的，前面也讲了两篇了，忘记了的可以回顾下(不好意思，懂分布式事务的你真的很了不起，下篇，面试是不是经常被问到分布式系统核心问题，这一次没人难倒你)我也会一直讲这方面技术的 当然，不同的分布式架构中调度器的原理可能会不相同，在我们开发中接触最多的最常见的就是单体调度器，即调度匹配任务和分布式系统中的空闲资源，直白的解释就是说调度器管理着任务和分布式中的所有资源。 下面我们就来具体学习下分布式架构中的单体调度器。 01 什么是单体调度？ 下一篇预告：讲讲分布式另外一种调度的方案 关于架构师修炼 本号旨在分享一线互联网各种技术架构解决方案，分布式以及高并发等相关专题，同时会将作者的学习总结进行整理并分享。 更多技术专题，敬请期待
1.4K20发布于 2020-07-20 - 来自专栏智慧zhuhuix的开发专栏
自己作图分析分布式技术架构演化的常用套路
在这个进化过程中，会有一些通用的问题需要解决，也会有一些常规的中间件需要构建，本文将对这个演化过程中涉及的分布式技术架构常用套路进行说明与分析。 1、单机架构 上线初期，负载较小，应用程序、数据库、文件等所有的资源都部署在一台服务器上。 架构上一般采用LAMP（Linux+Apache+Mysql+PHP）技术或Java MVC技术。 ? 原有的LAMP（Linux+Apache+Mysql+PHP）技术或MVC技术仍然能支撑这种架构。 ? 分布式服务 将大型应用中的功能按单一职责的原则进行拆分，每个拆分出来的功能都可被称为一项服务，通过中间件技术（RPC、消息队列、分布式事务等）实现各个服务之间的相互连接与通讯。 ? 9.1 微服务 微服务也是一种分布式服务：把服务按单一职责原则进行拆分，形成更小的粒度，独立部署与运行，并由独立的团队负责服务的生命周期管理。 ? 分布式架构设计常用的中间件技术 ?
72531发布于 2020-09-08 - 来自专栏开发内功修炼
聊聊分布式数据库TDSQL的技术架构
那么什么是分布式数据库，其分布式、强一致性、高可用以及无损升级等特性又是如何实现的呢。今天我们在这篇文中使用 TDSQL 技术架构来进行学习和理解。 传统的 Oracle 和 DB2 都属于传统的单体数据库架构。由于数据的进一步的大规模的增长，这种传统架构出现了不少的弊端。一个弊端就是扩展性问题。 这种架构有点类似于微服务中 Mesh 架构 中用 Sidecar 把微服务框架功能独立出来一样。 而且未来分布式系统的规模会越来越大，所以人工维护必然需要被代替。以下是 TDSQL 的扁鹊平台架构。 DBA 靠这个平台可以发现各种集群中运行的问题。 声明：本文用到的 TDSQL 的技术架构图片来自于腾讯云官网中的技术文档《TDSQL 核心架构原理解析》 https://main.qcloudimg.com/raw/63227aa97c20056ee7f8e89e499921a4
3.6K10编辑于 2023-12-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号