- 综合排序
- 最热优先
- 最新优先
- 来自专栏java达人
分布式系统模式11-HeartBeat
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
1.4K20发布于 2021-01-05 - 来自专栏函数式编程语言及工具
Akka（11）： 分布式运算：集群-均衡负载
集群构建是ActorSystem层面上的，可以是纯粹的配置和部署行为；分布式Actor程序编程实现了Actor消息地址的透明化，无须考虑目标运行环境是否分布式的，可以按正常的Actor编程模式进行。 既然分布式的Actor编程无须特别针对集群环境，那么摆在我们面前的就是多个可以直接使用的运算环境（集群节点）了，现在我们的分布式编程方式应该主要聚焦在如何充分使用这些分布的运算环境，即：如何把程序合理分配到各集群节点以达到最优的运算输出效率
2.6K70发布于 2018-01-05 - 来自专栏武军超python专栏
11月9日python分布式爬虫
另外，如果需要继承，也可以定义为类方法，实例对象和类对象都可以调用 使用分布式必须要安装： pip install scrapy-redis 分布式： 分布式爬虫的难点在于多台机器之间怎么互相通信而防止爬取重复的 url才能爬取一个url,不能自动爬取的话首先看一下域名是否正确，如果实在不行的话就把redis数据库 清空一下(flushdb),可能是由于存储爬取过的url那个列表的上次运行缓存太多造成的 使用分布式需要使用 如果不指定的话默认就是相对路径的当前的目录下： 如果使用/来表示路径可以直接写绝对路径，如果使用\则需要在绝对路径的前面加r来表示不转义，以原字符解释, 路径的 最后一定要加/表示最后那个文件下： with open('G:/第四阶段/11 utf8') as f: f.write((item['aname']+','+item['atype'] + '\n')) f.close() with open(r'G:\第四阶段\11
52120发布于 2019-02-25 - 来自专栏程序员小航
Redisson 分布式锁源码 11：Semaphore 和 CountDownLatch
前言 Redisson 除了提供了分布式锁之外，还额外提供了同步组件，Semaphore 和 CountDownLatch。 1 Semaphore 意思就是在分布式场景下，只有 3 个凭证，也就意味着同时只会有三个线程执行业务。 3 总结 Redisson 实现分布式的 Semaphore 和 CountDownLatch 基本内容就是如此，仅仅通过在 Redis 维护一个公共的变量，然后进行原子更新即可。
54740发布于 2021-07-09 - 来自专栏Reinvent Data Science
Chat with Milvus #11 回顾- 分布式数据库与Milvus分布式
视频中我们分析了传统数据库的架构，挑战&解法、分布式数据库的优势与劣势，最后带出了我们对 Milvus 分布式的看法与规划。 视频中我们介绍了像是 AWS Aurora、PingCAP 与分布式数据库中间件 ShardingSphere 这些热门的技术，想了解数据库前世今生的你务必点开?的视频！ ? 我们想做以图搜图的功能，但是我们那图的 量级可能会多一些，大概可能在 5 亿左右，然后是 256×256 的特征向量，所以我在群里问了一句，就是大家是不是有一些分布式的经验可以分享。 Attendee B： 对，我从官网上看到的也差不多是这个数字，所以可能比如说是 256 的肯定不够用了，然后如说我们如果直接用 GPU 的话，就是个 128 的，可能就要搞一个分布式的上去。 github.com/milvus-io/milvus | 源码 milvus.io | 官网 milvusio.slack.com | Slack 社区 zhihu.com/org/zilliz-11
76920发布于 2020-05-18 - 来自专栏慕枫技术笔记
11 张图深入理解分布式锁原理
原先的单体服务中的加锁方式在分布式场景下不能满足共享资源的并发访问要求。因此我们需要一种适用于分布式场景下的共享资源安全的处理机制，此时应对这种问题的分布式锁就应运而生了。 对于分布式锁来说，实际就是需要一个外部的状态存储系统来实现原子化的排他性操作。 通过对于分布式锁的需求分析，总结了如下的分布式锁四大特性，分别是多节点、加锁速度快、排他性以及锁过期实现机制。 分布式锁实现方案 2.1 基于数据库的分布式锁实现方案 2.1.1实现原理 通过数据库的方式实现分布式锁的效果，实际就是借助于数据库的唯一性约束特性或者 for update 来实现。 分布式锁实现方案。 总结 本文首先对从单机时代到分布式场景下的分布式锁的产生的背景进行了分析，通过对分布式锁的本质问题的探究，引出了数据库分布式锁方案、Redis 分布式锁方案以及 Zookeeper 分布式锁方案，并对每一种方案的优点以及不足进行了分析
83220编辑于 2023-03-20 - 来自专栏黑客下午茶
分布式 PostgreSQL，Citus(11.x) 效用函数
表和分片 DDL create_distributed_table create_distributed_table() 函数用于定义分布式表，并且如果它是哈希分布式表，还用于创建它的分片。 如果引用表本身不是分布式的，则在这些表是分布式的表之前禁止截断，以保护引用完整性： ERROR: cannot truncate a table referenced in a foreign key 在分布式函数执行期间，Postgres 搜索路径不会从 coordinator 传播到 worker， 因此分布式函数代码应完全限定数据库对象的名称。函数发出的通知也不会显示给用户。 citus_check_cluster_node_health (beta) 这个函数是 Citus 11-beta 的一部分。 检查所有节点之间的连接。 该转换可用于确定分布式表的分布列。 有关更详细的讨论，请参阅 finding_dist_col。 citus_relation_size 获取指定的分布式表的所有分片所使用的磁盘空间。
2.3K20编辑于 2022-09-02 - 来自专栏黑客下午茶
Citus 11(分布式 PostgreSQL) 文档贡献与本地运行
Citus 提供： 使用分片跨多个计算机进行水平缩放 将这些服务器的查询并行化，加快大型数据集上的响应 为多租户应用程序、实时运营分析以及高吞吐量事务工作负载提供卓越的支持 Citus 11 文档官方仓库
61530编辑于 2022-05-17 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (11) --- on spark --- GLOO 方案
[源码解析] 深度学习分布式训练框架 horovod (11) --- on spark --- GLOO 方案 目录 [源码解析] 深度学习分布式训练框架 horovod (11) --- on spark 本系列其他文章如下： [源码解析] 深度学习分布式训练框架 Horovod (1) --- 基础知识 [源码解析] 深度学习分布式训练框架 horovod (2) --- 从使用者角度切入 [源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么 [源码解析] 深度学习分布式训练框架 horovod (4) --- 网络基础 & Driver [源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架 [源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 [源码解析] 深度学习分布式训练框架 horovod (7) --- DistributedOptimizer [源码解析] 深度学习分布式训练框架 horovod (8) --- on spark [源码解析] 深度学习分布式训练框架 horovod
99430发布于 2021-07-13 - 来自专栏黑客下午茶
分布式 PostgreSQL，Citus 11.x SQL 参考(中文手册)
SQL 参考 创建和修改分布式对象 (DDL) https://citus.hacker-linner.com/develop/reference_ddl.html 创建和分发表 引用表 分布协调器数据 手动修改 摄取、修改数据 (DML) https://citus.hacker-linner.com/develop/reference_dml.html 插入数据 “From Select” 子句（分布式汇总 命令（批量加载 使用汇总缓存聚合 https://citus.hacker-linner.com/develop/reference_dml.html#rollups 更新和删除 最大化写入性能 查询分布式表 citus.hacker-linner.com/develop/reference_sql.html 聚合函数 Count (Distinct) 聚合 估计 Top N 项 百分位数计算 限制下推 分布式表的视图 连接 共置连接 引用表连接 重新分区连接 查询处理 https://citus.hacker-linner.com/develop/reference_processing.html 分布式查询 Planner
77510编辑于 2022-09-02 - 来自专栏罗西的思考
PyTorch 分布式(11) ----- DistributedDataParallel 之 构建Reducer和Join操作
[源码解析] PyTorch 分布式(11) ----- DistributedDataParallel 之 构建Reducer和Join操作 目录 [源码解析] PyTorch 分布式(11) --- ) [源码解析] PyTorch 分布式(4)------分布式应用基础概念 [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用 [源码解析 11 inputs processed across all ranks! 11 inputs processed before rank 1 joined! 11 inputs processed across all ranks! 0xFF 参考 pytorch分布式系列3——分布式训练时，torch.utils.data.distributed.DistributedSampler做了什么？
1.8K11发布于 2021-11-29 - 来自专栏量子位
PyTorch 1.7发布：支持CUDA 11、Windows分布式训练
木易 发自 凹非寺 量子位 报道 | 公众号 QbitAI 自从7月份CUDA 11发布以来，就陆陆续续听到了网友类似的吐槽： 这正说着，10月27日，PyTorch团队发布了PyTorch 1.7 ，终于能支持CUDA 11了，可喜可贺（狗头）。 此外，分布式数据并行（DDP）和基于远程过程调用（RPC）的分布式训练也有了重大的更新，在Windows平台上的分布式训练提供支持。 分布式训练&RPC 分布式训练和RPC有着最多的更新数目——7项，这其中有1项稳定版、5项测试版及1项原型版。 pytorch/releases https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11
1.1K20编辑于 2023-03-10 - 来自专栏编程
11. 分布式系统接口，如何避免表单的重复提交？
分布式系统接口，如何避免表单的重复提交？ 幂等性 重复请求场景案例： 幂等性的实现方式 关于怎么实现承载更多用户量的系统，一直是我重点关注的一个技术方向。 软件架构优化，主要是软件代码开发的规范：业务解耦合，架构微服务，单机无状态化，文件存储共享等 在分布式系统的学习途中也不断见识新的知识点，今天要说的就是软件开发时候对于接口服务的“幂等性”实现！
1.1K10编辑于 2024-10-28 - 来自专栏微信公众号【Java技术江湖】
搞懂分布式技术11：分布式session解决方案与一致性hash
，这对后端工程师来说是很重要的一门学问，我们会逐步了解常见的分布式技术、以及一些较为常见的分布式系统概念，同时也需要进一步了解zookeeper、分布式事务、分布式锁、负载均衡等技术，以便让你更完整地了解分布式技术的具体实战方法 ，为真正应用分布式技术做好准备。 对于Session数据存储的具体方式，可以使用数据库，也可以使用其他分布式存储系统。 分散性(Spread)：分布式环境中，客户端请求时候可能不知道所有服务器的存在，可能只知道其中一部分服务器，在客户端看来他看到的部分服务器会形成一个完整的hash环。 七、总结 在分布式系统中一致性hash起着不可忽略的地位，无论是分布式缓存，还是分布式Rpc框架的负载均衡策略都有所使用。
58910发布于 2019-12-02 - 来自专栏机器之心
PyTorch 1.7发布，支持CUDA 11、Windows分布式训练
该版本增添了很多新特性，如支持 CUDA 11、Windows 分布式训练、增加了支持快速傅里叶变换（FFT）的新型 API 等。 ? PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及对基于分布式数据并行（DDP）和基于远程过程调用（RPC）的分布式训练的重要更新。 本次更新的亮点包括： CUDA 11 得到 PyTorch 官方支持； 对 autograd 分析器，更新和添加了 RPC、TorchScript 和堆栈跟踪（Stack trace）的分析和性能； （ 开发者对 PyTorch 1.7 的态度 有开发者对 PyTorch 1.7「支持 Windows 上的分布式训练」这一新功能表示赞赏： ? 以及乐见于「PyTorch 对 CUDA 11 的支持」： ? 依然有人趁机表白 PyTorch，并列出偏好 PyTorch 的原因，如报错易读、代码直观、易于实验。 ?
1K30发布于 2020-11-04 - 来自专栏机器学习算法与Python学习
PyTorch 1.7发布，支持CUDA 11、Windows分布式训练
该版本增添了很多新特性，如支持 CUDA 11、Windows 分布式训练、增加了支持快速傅里叶变换（FFT）的新型 API 等。 ? PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及对基于分布式数据并行（DDP）和基于远程过程调用（RPC）的分布式训练的重要更新。 本次更新的亮点包括： CUDA 11 得到 PyTorch 官方支持； 对 autograd 分析器，更新和添加了 RPC、TorchScript 和堆栈跟踪（Stack trace）的分析和性能； （ 开发者对 PyTorch 1.7 的态度 有开发者对 PyTorch 1.7「支持 Windows 上的分布式训练」这一新功能表示赞赏： ? 以及乐见于「PyTorch 对 CUDA 11 的支持」： ? 依然有人趁机表白 PyTorch，并列出偏好 PyTorch 的原因，如报错易读、代码直观、易于实验。 ?
91710发布于 2020-11-03 - 来自专栏PyVision
支持CUDA 11，Windows 分布式训练，以及FFT新API
PyTorch 1.7版本包括了一些新的 API，比如对兼容 numpy 的 FFT 操作的支持、性能分析工具以及对分布式数据并行(DDP)和基于远程过程调用(RPC)的分布式训练的重要更新。 其中的一些亮点包括: 正式支持 CUDA 11 ，二进制文件可在 PyTorch.org 下载 在 autograd 分析器中更新和添加 RPC、 TorchScript 和 Stack traces torch.fft 支持兼容 NumPy 的 FFT (Prototype) 支持 Nvidia 新一代 A100 GPU 和原生 TF32 格式 (Prototype) 现在支持 Windows 上的分布式训练 当与 torchelastic(可以从最后一个检查点恢复训练过程)之类的东西一起使用时，用户可以有更高的可靠性进行分布式训练。 [PROTOTYPE] 分布式训练支持 WINDOWS PyTorch 1.7为 Windows 平台上的 DistributedDataParallel 和 collective 通信带来了原型支持。
1.5K32发布于 2020-10-30 - 来自专栏HappenLee的技术杂谈
分布式系统的烦恼------《Designing Data-Intensive Applications》读书笔记11
使用分布式系统与在单机系统中处理问题有很大的区别，分布式系统带来了更大的处理能力和存储容量之后，也带来了很多新的"烦恼"。在这一篇之中，我们将看看分布式系统带给我们新的挑战。 而当我们在使用分布式系统时，情况就不同了。在分布式系统中，系统的某些部分可能以某种不可预知的方式被破坏，即使系统的其他部分工作正常。 所以我们需要分布式系统能够容忍失败的节点，并且仍然保持整体工作，将容错机制建立到软件中。换句话说，分布式系统需要从不可靠的组件中建立一个可靠的系统。 例如，如果两个客户机向分布式数据库写入，谁首先到达？哪个是最近写的？ 如下图所示： ? 4.不可靠的租约 在分布式系统之中，有时需要确保在存储服务文件只能同时被一个客户端访问，因为如果多个客户端试图写它，文件会被损坏。您需要通过在访问文件之前从锁服务获得租约来实现分布式锁。
81030发布于 2018-09-05 - 来自专栏分布式锁通关指南
【📕分布式锁通关指南 11】源码剖析redisson之读写锁的实现
引言本期我们将深入了解 Redisson 提供的另一个常用分布式锁形态——读写锁（ReadWriteLock） 。 Redisson 为我们提供了一个典型的读写锁实现，让分布式读多写少的场景更具伸缩性。介绍在分布式的场景下，有些数据是“读远多于写”的。 Redisson 在此基础之上封装了分布式的读写锁 API，使得我们可以把单机环境下的读写锁模式，透明地延伸到集群。 如何保证分布式读写锁的一致性？ 对于多读少写的分布式业务场景，读写锁可以在并发性能与资源互斥之间取得良好平衡，极大地提升系统吞吐量。
36010编辑于 2025-07-01 - 来自专栏IM分布式架构系列
IM分布式架构系列(11) TCP 握手鉴权时机 | 握手前还是后?
讨论 IM 连接鉴权，更多考虑"用什么凭证"——token 还是证书，对称还是非对称。但真正决定接入层形态的是什么时候鉴权？鉴权这一步，应该放在连接生命周期的哪个时刻、哪个环节。是连接还没建起来就把非法方挡在门外，是在握手协商里顺手认掉，还是连接先建好、等第一个业务包再校验身份？
19220编辑于 2026-06-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号