- 综合排序
- 最热优先
- 最新优先
- 来自专栏小白晋级大师
分布式系统学习9：分布式锁
分布式系统学习9：分布式锁这是小卷对分布式系统架构学习的第12篇文章，今天学习面试中高频问题：分布式锁，为什么要做分布式锁，有哪些实现方式，各适用于什么场景等等问题1. 为什么要用分布式锁？ 使用场景：乐观锁去除了加锁解锁的操作，但是一旦冲突后的重试成本非常高，只有再冲突概率非常低，且加锁成本比较高的场景，才考虑使用乐观锁3.分布式锁的实现方式常见分布式锁实现方案如下：基于关系型数据库比如 MySQL 实现分布式锁。 基于分布式协调服务 ZooKeeper 实现分布式锁。基于分布式键值存储系统比如 Redis 、Etcd 实现分布式锁。 ，还有没有其他方法，所以还是要多了解一种方法的前面分布式理论基础时已经了解到Zookeeper是CP模式，提供数据一致性，因此适合作为分布式锁的选型。
31600编辑于 2025-01-22 - 来自专栏武军超python专栏
11月9日python分布式爬虫
另外，如果需要继承，也可以定义为类方法，实例对象和类对象都可以调用 使用分布式必须要安装： pip install scrapy-redis 分布式： 分布式爬虫的难点在于多台机器之间怎么互相通信而防止爬取重复的 url才能爬取一个url,不能自动爬取的话首先看一下域名是否正确，如果实在不行的话就把redis数据库 清空一下(flushdb),可能是由于存储爬取过的url那个列表的上次运行缓存太多造成的 使用分布式需要使用 如果使用/来表示路径可以直接写绝对路径，如果使用\则需要在绝对路径的前面加r来表示不转义，以原字符解释, 路径的 最后一定要加/表示最后那个文件下： with open('G:/第四阶段/11月9日 as f: f.write((item['aname']+','+item['atype'] + '\n')) f.close() with open(r'G:\第四阶段\11月9日
46920发布于 2019-02-25 - 来自专栏全栈测试开发日记
Locust学习笔记9——分布式压测
那么就引出了分布式压测的概念，Jmeter通过调度机(Master)与执行机(Slave)来实现。 而Locust也支持分布式压测，类似Jmeter一样，当一台机器无法模拟所需的用户数量时候，可以通过多台Slave机器来实现，Master机器主负责分发任务和下达指令。 分布式场景 Locust分布式场景有两种： 1.单台机器设置Master和Slave 2.多台机器时，一台调度机(Master)，其他机器设置执行机(Slave) 前提： 1、主机（ 单机分布式压测 启动方式：Locust中使用主从模式启动多个进程（使用多核处理器的能力），先启动 master，主处理器负责分发任务，然后再逐一启动若干个 slave(slave 的节点数要小于等于本机的处理器数 多机分布式压测 前面已经说过，当一台电脑无法满足足够大的并发用户数量时，就需要多台机器来模拟请求。多机案例需要多台机器，以后有时间部署多台机器来演示，这里就讲方法。
1.8K20编辑于 2023-02-02 - 来自专栏java达人
分布式系统模式9-Single Socket Channel
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
75010发布于 2021-01-05 - 来自专栏罗西的思考
PyTorch 分布式(9) ----- DistributedDataParallel 之初始化
[源码解析] PyTorch 分布式(9) ----- DistributedDataParallel 之初始化 目录 [源码解析] PyTorch 分布式(9) ----- DistributedDataParallel 1.2.1 分布式数据并行 最上面是分布式数据并行组件。 Distributed.py： 这是 DDP 的 Python 入口点。 0xFF 参考 pytorch分布式系列3——分布式训练时，torch.utils.data.distributed.DistributedSampler做了什么？ pytorch分布式系列1——搞清torch.distributed.launch相关的环境变量 pytorch分布式系列2——DistributedDataParallel是如何做同步的？ 分布式秘籍大揭秘 pytorch分布式训练（二init_process_group） https://pytorch.org/tutorials/intermediate/ddp_tutorial.html
1.7K40发布于 2021-11-24 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (9) --- 启动 on spark
[源码解析] 深度学习分布式训练框架 horovod (9) --- 启动 on spark 目录 [源码解析] 深度学习分布式训练框架 horovod (9) --- 启动 on spark 0x00 本系列其他文章如下： [源码解析] 深度学习分布式训练框架 Horovod (1) --- 基础知识 [源码解析] 深度学习分布式训练框架 horovod (2) --- 从使用者角度切入 [源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么 [源码解析] 深度学习分布式训练框架 horovod (4) --- 网络基础 & Driver [源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架 [源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 [源码解析] 深度学习分布式训练框架 horovod (7) --- DistributedOptimizer [源码解析] 深度学习分布式训练框架 horovod (8) --- on spark 0x01 总体架构图 首先，我们还是要祭出架构图，这样大家可以按图索骥
65720发布于 2021-07-08 - 来自专栏函数式编程语言及工具
Akka（9）： 分布式运算：Remoting-远程构建式
上篇我们讨论了Akka-Remoting。我们说Akka-Remoting是一种点对点的通讯方式，能使两个不同JVM上Akka-ActorSystem上的两个Actor之间可以相互沟通。Akka
93190发布于 2018-01-05 - 来自专栏chester技术分享
.NET分布式Orleans - 9 - 贪吃蛇项目演示
，它具有许多优点和适用场景： 简化分布式系统开发：Orleans7提供了高层次的抽象，使得开发者可以更轻松地构建和管理分布式系统，无需处理底层的复杂性。 分布式状态管理：Orleans7提供了强大的分布式状态管理机制，可以轻松地在集群中共享和管理状态，避免了传统分布式系统中状态同步的复杂性。 生态系统丰富：Orleans7拥有一个活跃的社区和丰富的生态系统，提供了许多扩展和工具，可以帮助开发者更好地构建和管理分布式系统。 Orleans7适用于需要构建高性能、高可用性和高度可扩展性的分布式系统的场景，如在线游戏、实时分析、物联网应用等。 同时，对于开发者来说，如果需要简化分布式系统的开发和管理，并且希望能够以面向对象的方式来编写代码，那么Orleans7也是一个很好的选择。
31410编辑于 2024-04-13 - 来自专栏DevOps
AI框架：9大主流分布式深度学习框架简介
前言 转载翻译Medium上一篇关于分布式深度学习框架的文章 https://medium.com/@mlblogging.k/9-libraries-for-parallel-distributed-training-inference-of-deep-learning-models -5faa86199c1fmedium.com/@mlblogging.k/9-libraries-for-parallel-distributed-training-inference-of-deep-learning-models 其主要特点是： 没有主节点的分布式训练：分布式哈希表允许连接分散网络中的计算机。 容错反向传播：即使某些节点没有响应或响应时间过长，前向和后向传递也会成功。 使用 OneFlow，很容易： 使用类似 PyTorch 的 API 编写模型 使用 Global View API 将模型缩放到 n 维并行/分布式执行 使用静态图编译器加速/部署模型。 9. Mesh-Tensorflow 根据 github 页面：Mesh TensorFlow (mtf) 是一种用于分布式深度学习的语言，能够指定广泛的分布式张量计算类别。
6.4K10编辑于 2024-03-29 - 来自专栏Java-SpringCloud相关
Java学习笔记-微服务(9)-终-分布式事务Seata
Seata在微服务中，一定存在多个数据库，那么多个数据库间如何处理分布式事务？对于分布式事务问题，有哪些解决方案？一次业务操作需要跨多个数据源或系统进行远程调用时，就会产生分布式事务问题。 但关系型数据库提供的能力是基于单机事务的，一旦遇到分布式事务场景，就需要通过其他技术手段来解决事务问题。单体应用被拆分为微服务应用，原来的多个模块被拆分为多个应用，就有多个数据源。 Seata(incubating) 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 该操作跨域三个数据库，有两次远程调用，所以一定会存在分布式事务问题。 此时就出现了分布式事务问题，当用户下单时，金额和库存的扣减已生效，由于 Time Out 导致主业务应用未能收到正确返回，导致更新订单状态的操作未能正确执行。
53210编辑于 2025-03-09 - 来自专栏日拱一兵
9种分布式ID生成之美团（Leaf）实战
引言 前几天写过一篇《一口气说出 9种 分布式ID生成方式，面试官有点懵了》，里边简单的介绍了九种分布式ID生成方式，但是对于像美团（Leaf）、滴滴（Tinyid）、百度（uid-generator） 而通过读者留言发现，大家普遍对他们哥三更感兴趣，所以后边会结合实战，详细的对三种分布式ID生成器学习，今天先啃下美团（Leaf）。 不了解分布式ID的同学，先行去看《一口气说出 9种 分布式ID生成方式，面试官有点懵了》温习一下基础知识，这里就不再赘述了 美团（Leaf） Leaf是美团推出的一个分布式ID生成服务，名字取自德国哲学家 目前主流的分布式ID生成方式，大致都是基于数据库号段模式和雪花算法（snowflake），而美团（Leaf）刚好同时兼具了这两种方式，可以根据不同业务场景灵活切换。 后续还会把其他几种分布式ID生成器，依次结合实战介绍给大家
1.9K20发布于 2020-03-11 - 来自专栏Java课堂
9种分布式ID生成之 美团（Leaf）实战
整理了一些Java方面的架构、面试资料（微服务、集群、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取 引言 前几天写过一篇《一口气说出 9种 分布式ID生成方式，面试官有点懵了 》，里边简单的介绍了九种分布式ID生成方式，但是对于像美团（Leaf）、滴滴（Tinyid）、百度（uid-generator）都是一笔带过。 而通过读者留言发现，大家普遍对他们哥三更感兴趣，所以后边会结合实战，详细的对三种分布式ID生成器学习，今天先啃下美团（Leaf）。 不了解分布式ID的同学，先行去看《一口气说出 9种 分布式ID生成方式，面试官有点懵了》温习一下基础知识，这里就不再赘述了 美团（Leaf） Leaf是美团推出的一个分布式ID生成服务，名字取自德国哲学家 --- 整理了一些Java方面的架构、面试资料（微服务、集群、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取
4.1K20发布于 2020-02-28 - 来自专栏函数式编程语言及工具
alpakka-kafka(9)-kafka在分布式运算中的应用
kafka具备的分布式、高吞吐、高可用特性，以及所提供的各种消息消费模式可以保证在一个多节点集群环境里消息被消费的安全性：即防止每条消息遗漏处理或重复消费。 换句话说就是在分布式运算环境里kafka的消息消费是能保证唯一性的。 但是，保证了消息读取唯一性，消息的处理过程如果也放到分布式运算环境里仍然会面对数据完整性（data integrity）问题。 在分布式环境里上面的这段代码等于是在多个节点上同时运行，同样会产生像多线程并行运算所产生的问题。 显然：问题的核心是重复的消息内容，在上面的例子里是多条消息里相同的银行账号。 case x if (x >= '6' && x <= '8') => occur(2) = occur(2) + 1 case x if (x == '9'
51210编辑于 2022-05-10 - 来自专栏JavaGuide
豆瓣平均 9.x，分布式领域的 5 本神书！
上个周末简单整理了几本觉得还不错的分布式技术书籍，这里简单分享一下，希望对你系统学习分布式领域相关的知识能够有所帮助。 《深入理解分布式系统》 今年 3 月份刚出的一本分布式中文原创书籍，主要讲的是分布式领域的基本概念、常见挑战以及共识算法。 这本书的作者的博客上的分布式相关的文章我几乎每一篇都认真看过。 作者从 2019 年开始构思《深入理解分布式系统》，2020 年开始动笔，花了接近两年的时间才最终交稿。 这本书主要介绍几种典型的分布式一致性协议，以及解决分布式一致性问题的思路，其中重点讲解了 Paxos 和 ZAB 协议。 分布式的基石比如常见的分布式共识算法 Paxos、Multi Paxos。 不可变基础设施比如虚拟化容器、服务网格。 向微服务迈进的避坑指南。 这本书我推荐过很多次了。
3.6K20编辑于 2022-11-07 - 来自专栏开源优测
Playwright系列：第9章 使用Playwright Grid进行分布式测试
pdfv1.1 大数据测试过程、策略及挑战 测试框架原理，构建成功的基石 在自动化测试工作之前，你应该知道的10条建议 在自动化测试中，重要的不是工具 Playwright Grid是一个用于分布式浏览器测试的工具 Playwright Grid原理 Playwright Grid基于Playwright,并在其上构建分布式测试能力。其主要原理是: 1. 使用Grid服务器来管理远程工作器,并调度测试执行。 测试人员不需要修改脚本,只需要在Grid服务器上运行,即可实现分布式测试。 理解Playwright Grid的工作原理,以及Java示例的使用步骤,可以帮助Java测试人员更高效地运行分布式自动化测试。 总结 Playwright Grid提供了强大的分布式测试功能,可以实现多设备同时测试,加速测试过程,模拟真实用户环境等。
1.5K20编辑于 2023-06-09 - 来自专栏Java实战博客
分布式优雅下线 与 kill -9 与 kill -15 与 Ctrl + C
本页目录 测试优雅下线执行流程 看下日志输出吧 分布式环境优雅下线 如果是单机下线 我们看一下我们kill命令 zanglikun@zanglikundeMacBook-Pro ~ % kill -l 9号是KILL、15号是TREM Ctrl + C 是给程序发送INT信号 等价于 kill -2 但是kill -9 PID真实含义是：发送信号KILL：无论你现在在做什么，立刻停止。 我们停止服务的时候，往往就在内置脚本执行了kill -9 PID的命令。 但是如果我们进程中，有些业务没执行完毕，比如：用户导出Excel。线程执行一半。进程没了。用户就会丢失这个请求了！ 执行kill -9 PID不会出发Hook执行。kill -15 PID会触发Hook执行。 分布式环境优雅下线 如果是分布式环境：往往都是在注册中心注册了多个相同的服务。比如商品服务A，商品服务B。我们要停止商品服务A。那就先将注册中心，将A剔除。然后等待几秒。
87720编辑于 2023-03-06 - 来自专栏码猿技术专栏
分布式链路追踪之Spring Cloud Sleuth夺命连环9问？
大型分布式微服务系统中，一个系统被拆分成N多个模块，这些模块负责不同的功能，组合成一套系统，最终可以提供丰富的功能。 为了能够在分布式架构中快速定位问题，分布式链路追踪应运而生。将一次分布式请求还原成调用链路，进行日志记录，性能监控并将一次分布式请求的调用情况集中展示。 zipkin：由Twitter公司开源，开放源代码分布式的跟踪系统，用于收集服务的定时数据，以解决微服务架构中的延迟问题，包括：数据的收集、存储、查找和展现。 Sleuth：SpringCloud 提供的分布式系统中链路追踪解决方案。 Spring Cloud Sleuth实现了一种分布式的服务链路跟踪解决方案，通过使用Sleuth可以让我们快速定位某个服务的问题。
78021编辑于 2023-10-23 - 来自专栏sowhat1412
9种分布式ID生成方式，总有一款适合你
在这里插入图片描述 分布式ID必要性。 业务量小于500W或数据容量小于2G的时候单独一个mysql即可提供服务，再大点的时候就进行读写分离也可以应付过来。 那么这个全局唯一ID就叫分布式ID。 分布式ID需满足那些条件 全局唯一：基本要求就是必须保证ID是全局性唯一的。 高性能：高可用低延时，ID生成响应要快。 UUID.randomUUID().toString().replaceAll("-",""); System.out.println(uuid); } 输出结果 99a7d0925b294a53b2f4db9d5a3fb798 auto_increment_offset = 2; -- 起始值 set @@auto_increment_increment = 2; -- 步长 这样两个MySQL实例的自增ID分别就是： 1、3、5、7、9 ID的测试url：http://localhost:8080/api/snowflake/get/test 9.
1.5K20发布于 2020-11-05 - 来自专栏li_wait
打印9*9乘法口诀
j = 1; j <=i; j++) { printf("%d*%d=%d ", j, i, i * j); } printf("\n"); } return 0; } 打印9* 9乘法口诀表： 从图中看出第四排和第五排没有对齐，要想对齐，可以考虑 printf限定占位符的最小宽度（https://blog.csdn.net/wait___wait/article /details/135287228） 9*9乘法口诀表中最大位数是2，因此设最小宽度为2。
44810编辑于 2024-10-23 - 来自专栏linjinhe的专栏
设计数据密集型应用（8-9）：从单机到分布式
这两章的内容介绍从单机转向分布式系会遇到的问题，简单提炼一下几个重要概念。 分布式系统中的问题 从单机到分布式会遇到很多新的问题。 1、网络。 网络是不可靠的，随时可能丢包。 在分布式系统中，不同机器的时钟是无法完全同步的，并且机器的时钟有可能向前或向后跳跃，不保证单调递增。 可能出现部分节点故障，这是分布式与单机的最大不同。分布式系统不能因为少部分节点的故障而影响整个系统的可用性。 实现线性一致性的分布式共识算法主要有： Paxos Raft 分布式事务 前面讲到了分片和事务，分布式事务其实就是跨分片的事务。 有不少开源数据库实现了分布式事务，比如： TiKV CockroachDB FoundationDB Calvin 想要深入了解分布式事务，这里推荐一些论文： Omid 四部曲： Omid: Lock-free
66510发布于 2020-04-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号