- 综合排序
- 最热优先
- 最新优先
- 来自专栏chester技术分享
.NET分布式Orleans - 7 - Streaming
分布式协作：Streaming也可以用于实现分布式系统中的协作和通信。例如，多个节点可以发布状态更新到流中，其他节点可以订阅这些流以获取最新的状态信息。
40610编辑于 2024-04-13 - 来自专栏分布式锁原理与源码
分布式锁—7.Curator的分布式锁
InterProcessMutex.acquire()尝试获取锁(4)LockInternals.attemptLock()尝试获取锁(5)不同客户端线程获取锁时的互斥实现(6)同一客户端线程可重入加锁的实现(7) (7)客户端线程释放锁的实现客户端线程释放锁时会调用InterProcessMutex的release()方法。首先对LockData里的重入计数器进行递减。当重入计数器大于0时，直接返回。 07a641d351f2-__READ__0000000004二.然后另一个客户端线程2过来尝试获取写锁于是该线程2会也会先在/locks目录下创建出如下写锁的临时顺序节点：/locks/9361-4fb7- 0000000005接着该线程会获取/locks目录的当前子节点列表并进行排序，结果如下：[43f3-4c2f-ba98-07a641d351f2-__READ__0000000004,9361-4fb7- (7)先获取写锁 + 再获取写锁的情形分析如果客户端线程1先获取了写锁，然后后面客户端线程2来获取这个写锁。此时线程2会发现自己创建的节点排在节点列表中的第二，不是第一。
20110编辑于 2025-05-15 - 来自专栏全栈程序员必看
ZooKeeper实践方案：（7） 分布式锁
1.基本介绍 分布式锁是控制分布式系统之间同步訪问共享资源的一种方式,须要相互排斥来防止彼此干扰来保证一致性。 利用Zookeeper的强一致性能够完毕锁服务。
27010编辑于 2022-07-05 - 来自专栏小白晋级大师
分布式系统架构7：本地缓存
这是小卷对分布式系统架构学习的第10篇文章，在开始学习分布式缓存之前，先来学习本地缓存的理论基础，了解为什么需要用缓存 1.引入缓存的影响 我们在开发时，用到缓存的情况，无非就是为了减少客户端对相同资源的重复请求 引入缓存的理由： 为了缓解CPU压力，将实时计算运行结果存储起来，节省CPU压力 为了缓解I/O压力，将原本对网络、磁盘的访问改为对内存的访问 2.缓存的属性 选择缓存时，主要考虑吞吐量、命中率、扩展功能、分布式支持 前3个这篇文章会讲，下一篇再讲分布式缓存 2.1吞吐量 并发场景下，每秒操作数OPS，反映了缓存的工作效率 如Java8并发包的ConcurrentHashMap，线程安全实现原理是CAS+synchronized
31800编辑于 2025-01-17 - 来自专栏大数据成神之路
7-Flink的分布式缓存
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 line : lines) { this.dataList.add(line); System.err.println("分布式缓存为 line : lines) { this.dataList.add(line); System.err.println("分布式缓存为
90580发布于 2019-03-07 - 来自专栏罗西的思考
TensorFlow 分布式环境(7) --- Worker 动态逻辑
[源码解析] TensorFlow 分布式环境(7) --- Worker 动态逻辑 目录 [源码解析] TensorFlow 分布式环境(7) --- Worker 动态逻辑 1. Systems" [翻译] TensorFlow 分布式之论文篇 "Implementation of Control Flow in TensorFlow" [源码解析] TensorFlow 分布式环境 (1) --- 总体架构 [源码解析] TensorFlow 分布式环境(2)---Master 静态逻辑 [源码解析] TensorFlow 分布式环境(3)--- Worker 静态逻辑 [源码解析 ] TensorFlow 分布式环境(4) --- WorkerCache [源码解析] TensorFlow 分布式环境(5) --- Session 1. 总结 我们用一幅图来把整个分布式计算流程总结如下： 图 2 分布式计算流程 0xFF 参考
73320编辑于 2022-05-09 - 来自专栏苏三说技术
分布式事务的7种方案，yyds！
前言 分布式事务问题，无论在面试，还是工作中经常会遇到。 分布式系统下，数据一致性不再是数据库事务那么简单的。 分布式事务作为其中最复杂的挑战之一，曾让无数团队深夜加班、焦头烂额。 今天这篇文章就跟大家一起聊聊分布式事务问题的7种常见解决方案，希望对你会有所帮助。 1.为什么分布式事务如此棘手？ 在单体应用时代，数据库的ACID事务保证了数据一致性。 这就是分布式事务要解决的核心问题。 那么，如何解决问题呢？ 2. 常见的解决方案 2.1 2PC（两阶段提交） 该方案是强一致性方案。 分布式事务的本质，是在业务需求与技术可行性之间找到平衡点。 致开发者：不必追求完美的分布式事务解决方案，适合业务场景的才是最好的。 在设计时多问自己： 业务能容忍多长时间不一致？ 愿你在分布式系统的海洋中，乘风破浪，游刃有余。
61510编辑于 2025-08-06 - 来自专栏从零开始学自动化测试
Locust性能测试7-分布式执行
前言 使用Locust进行性能测试时，当一台单机不足以模拟所需的用户数量的时候，可以在多台机器上分布式的执行性能测试。 locust分布式启动场景有2种，一种是单机设置master和slave模式，另外一种是有多个机器，其中一个机器设置master，其它机器设置slave节点。 多机主从模式 当一台机器的并发数无法满足你的业务需求时，可以在多台机器上分布式的执行性能测试。
1.3K40发布于 2019-10-18 - 来自专栏罗西的思考
PyTorch 分布式(7) ----- DistributedDataParallel 之进程组
[源码解析] PyTorch 分布式(7) ----- DistributedDataParallel 之进程组 目录 [源码解析] PyTorch 分布式(7) ----- DistributedDataParallel Store : 可以认为是分布式键值存储，这个存储在组中的进程之间共享信息以及初始化分布式包 （通过显式创建存储来作为init_method的替代）。 "gloo", rank=rank, world_size=world_size) def cleanup(): dist.destroy_process_group() 该方法会初始化默认分布式进程组和分布式包 0x02 概念与设计 2.1 功能 默认情况下，集合通信在默认组（也称为world）上运行，并要求所有进程都进入分布式函数调用。但是，一些工作可以从更细粒度的通信中受益。这就是分布式组发挥作用的地方。 new_group() 函数可用于创建一个新分布式组，这个新组是所有进程的任意子集。
2.2K10发布于 2021-11-24 - 来自专栏开源部署
CentOS7 或 RHEL7下搭建Hadoop 2.7.6完全分布式
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下： CentOS-master nameNode 192.168.11.128 CentOS-node1 关闭防火墙 5.输入 systemctl disable firewalld.service ，禁用防火墙 6.输入 mkdir /usr/local/Hadoop 创建一个hadoop的文件夹 7.
50220编辑于 2022-07-13 - 来自专栏罗西的思考
PyTorch 分布式之弹性训练(7)---节点变化
[源码解析] PyTorch 分布式之弹性训练(7)---节点变化 目录 [源码解析] PyTorch 分布式之弹性训练(7)---节点变化 0x00 摘要 0x01 变化方式 1.1 Scale-down 弹性训练系列文章如下： [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 [源码解析] PyTorch 分布式之弹性训练(3)---代理 [源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑 [源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous ，我们下文会介绍其他框架/库的分布式实现，敬请期待。 0xFF 参考 [源码解析] PyTorch 分布式之弹性训练(1) --- 总体思路 [源码解析] PyTorch 分布式之弹性训练(2)---启动&单节点流程 [源码解析] PyTorch 分布式之弹性训练
82020编辑于 2022-05-09 - 来自专栏北漂的我
CentOS 7 中搭建 ZooKeeper 伪分布式集群
将 ZooKeeper 安装文件夹拷贝三份, 作为伪分布式的三个子节点. 2. 02/dataDir dataLogDir=/usr/local/zookeeper-3.4.14--02/dataLogDir # 修改客户端连接端口号 clientPort=2182 # 配置伪分布式集群 03/dataDir dataLogDir=/usr/local/zookeeper-3.4.14--03/dataLogDir # 修改客户端连接端口号 clientPort=2183 # 配置伪分布式集群 192.168.30.131:2889:3889 server.3=192.168.30.131:2890:3890 在 dataDir 中创建 myid 文件, 内容是3 最后分别启动三个 ZooKeeper 就行了, 伪分布式就搭建好了
46830发布于 2020-03-20 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (7) --- DistributedOptimizer
[源码解析] 深度学习分布式训练框架 horovod (7) --- DistributedOptimizer 目录 [源码解析] 深度学习分布式训练框架 horovod (7) --- DistributedOptimizer 前面几篇链接如下： [源码解析] 深度学习分布式训练框架 Horovod (1) --- 基础知识 [源码解析] 深度学习分布式训练框架 horovod (2) --- 从使用者角度切入 [源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么 [源码解析] 深度学习分布式训练框架 horovod (4) --- 网络基础 & Driver [源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架 [源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 我们需要一些问题或者说是设计要点来引导分析，而且因为读者可能没有看过本系列其他文章 假设在 worker 1上分布的indices是[1, 3, 5, 7, 9]，在worker 2上分布的indices是[2, 4, 6, 8, 10]。
1.7K10发布于 2021-06-29 - 来自专栏开源部署
CentOS 7 下搭建Hadoop 2.9 分布式集群
首先说明，本文记录的是搭建的3节点的完全分布式Hadoop集群的过程，环境是CentOS 7，1个nameNode，2个dataNode，如下： 1、首先，创建好3个CentOS 7的虚拟机. 2、完成虚拟机的 yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> </configuration> 7、
47720编辑于 2022-07-24 - 来自专栏开源部署
CentOS 7下Hadoop完全分布式集群搭建
DataNode YARN damones： ResourceManager, NodeManager, WebAppProxy MapReduce Job History Server 本次测试的分布式环境为 The key fingerprint is: 11:b2:23:8c:e7:32:1d:4c:2f:00:32:1a:15:43:bb:de hadoop@hadoop-master The key's [hadoop@hadoop-master ~]$ 2.5 Hadoop设定 2.5.0 开放端口50070 注：centos7版本对防火墙进行 加强,不再使用原来的iptables,启用firewall
64410编辑于 2022-07-12 - 来自专栏java达人
分布式系统模式7-High-Water Mark
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
76820发布于 2020-12-16 - 来自专栏王小雷
centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk，免密匙登录，配置mapreduce，配置YARN。 x86_64 tzdata-java-2015g-1.el7.noarch python-javapackages-3.4.1-11.el7.noarch javapackages-tools-3.4.1 -11.el7.noarch java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 java-1.8.0-openjdk-1.8.0.65-3.b17 ECDSA key fingerprint is 7b:10:e3:b5:ea:7d:29:be:77:83:1c:c0:1d:85:de:ba. Hadoop伪分布式安装完成
1.7K91发布于 2018-01-02 - 来自专栏方才编程
图解7种分布式事务模型（一文带你掌握分布式事务）
分布式事务是微服务架构中的核心挑战之一，尤其在跨服务、跨数据库操作时需保证数据一致性。 今天方才就通过图解7种分布式事务模型，让你一次性掌握分布式事务！ 1. 事务基础：ACID特性 事务基础：ACID特性 在解决分布式事务的问题时，方才认为最应该优先考虑的方案是：通过设计去避免分布式事务，转为为本地事务。 XA 模式 事务模式-XA 基于数据库XA协议：依赖数据库的分布式事务能力（如MySQL XA）。 优点：强一致性，数据库原生支持。 缺点：性能低，数据库兼容性要求高。 但真正的破局密码竟是：优先通过设计规避分布式事务！ 通过服务拆分优化，将跨服务操作转为本地事务，化繁为简。 当分布式事务无法避免时，可靠事件队列以异步化、最终一致性的设计，成为高并发场景的轻量级救星，但需直面幂等性与消息可靠性的挑战。
1.3K10编辑于 2025-04-02 - 来自专栏数据分析与挖掘
hadoop之完全分布式集群配置（centos7）
hadoop02是我之前学习伪分布式时已经克隆配置好了的。也要在hadoop01和hadoop02中将这四个也添加上去。hadoop01是克隆源，里面的UUID不可删去。
62430发布于 2020-08-26 - 来自专栏WalkingCloud
CentOS7下Hadoop分布式环境搭建过程
7)接下来切换到root用户vi编辑/etc/hosts ? 8)创建datanode和namenode目录 ? 在主节点编辑完成之后，直接scp发送给Node1,Node2节点 scp . 7、mapreduce样例测试 [hadoop@Hadoop ~]$ hadoop fs -mkdir /test [hadoop@Hadoop ~]$ hadoop
84440发布于 2020-04-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号