- 综合排序
- 最热优先
- 最新优先
- 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 分布式缓存也是面试常见的问题，通常面试官会问为什么要用缓存，以及用的Redis是哪种模式，用的过程中遇到哪些问题这些1. 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能
84910编辑于 2025-01-20 - 来自专栏罗西的思考
TensorFlow 分布式环境(8) --- 通信机制
[源码解析] TensorFlow 分布式环境(8) --- 通信机制 目录 [源码解析] TensorFlow 分布式环境(8) --- 通信机制 1. (1) --- 总体架构 [源码解析] TensorFlow 分布式环境(2)---Master 静态逻辑 [源码解析] TensorFlow 分布式环境(3)--- Worker 静态逻辑 [源码解析 ] TensorFlow 分布式环境(4) --- WorkerCache [源码解析] TensorFlow 分布式环境(5) --- Session [源码解析] TensorFlow 分布式环境( 图 1 发送/接受 1.1 消息标识符 我们在学习 PyTorch 分布式时候，就知道每次分布式通信都需要有一个全局唯一的标识符，比如： 使用 autogradMessageId 来表示一对 send/ [腾讯机智] TensorFlow源码解析(1): 创建会话 05tensorflow分布式会话 第八节，配置分布式TensorFlow TensorFlow 分布式（Distributed TensorFlow
1.7K10编辑于 2022-05-09 - 来自专栏深度学习与python
分布式计算的 8 大谬误
作者 | Sergio De Simone 译者 | 平川 策划 | 赵钰莹 在 Ably 博客最近的一篇文章中，Alex Diaconu 回顾了分布式计算的 8 大谬误，并提供了一些应对建议 在 Ably 博客最近的一篇文章中，Alex Diaconu 回顾了分布式计算的 8 大谬误，并提供了一些应对建议。 这 8 大谬误是关于分布式计算的一组假设，这些假设可能会导致软件开发的失败：网络是可靠的；延迟为 0；带宽是无限的；网络是安全的；拓扑结构是不变的；只有一名管理员；传输成本为 0；网络是同构的。 InfoQ：关于分布式计算的谬误，自从最初提出以来，已经过去了近三十年，但现在它们仍然很有意义。在 Ably，它们的作用是什么？ Diaconu： 就像前面提到的那样，分布式系统的挑战，以及与分布式系统构建技术和机制相关的广泛的科学领域，已经得到了很好的研究。
61820发布于 2021-10-13 - 来自专栏进击的程序猿
分布式计算中的8个谬论
8个分布式计算的谬论 The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. Someone, somewhere will have to pick the tab and pay these costs. 8. application level Do not rely on proprietary protocols--it would be harder to integrate them later 总结 分布式系统虽然已经发展好多年了
71020发布于 2018-08-23 - 来自专栏技术翻译
理解分布式系统的8个谬误
分布式系统由许多计算机组成，这些计算机协调以实现共同的目标。 20多年前，Peter Deutsch和James Gosling定义了分布式计算的8个谬误。 这些是许多开发人员对分布式系统做出的错误假设。从长远来看，这些通常被证明是错误的，导致难以修复错误。 8个谬误是： 网络可靠。 延迟为零。 带宽是无限的。 网络是安全的。 拓扑不会改变。 这就是为什么分布式对象和“网络透明度”的想法死了。 8.网络是同质的 问题 网络不是同质的。 同质网络是使用类似配置和相同通信协议的计算机网络。拥有类似配置的计算机是一项艰巨的任务。例如，您几乎无法控制哪些移动设备可以连接到您的应用。 原文标题《Understanding the 8 Fallacies of Distributed Systems》 作者：Victor Chircu 译者：February 不代表云加社区观点，更多详情请查看原文链接
2.5K20发布于 2018-12-10 - 来自专栏罗西的思考
PyTorch 分布式(8) -------- DistributedDataParallel之论文篇
[源码解析] PyTorch 分布式(8) -------- DistributedDataParallel之论文篇 目录 [源码解析] PyTorch 分布式(8) -------- DistributedDataParallel 在平台端提供本机分布式数据并行API将帮助应用程序开发人员专注于优化其模型，而平台开发团队可以持续透明地提高训练速度。 要提供一个通用的分布式数据并行包，有三个方面的挑战。 RPC，用于一般分布式模型并行训练（例如，参数服务器）。 论文的其余部分主要关注分布式数据并行。 在这个玩具分布式培训示例中，第11行是将本地培训应用程序转换为分布式应用程序的唯一区别，它满足了非侵入性需求，还满足交互要求。构造器允许DDP检查模型结构和参数。 构造完成后，本地模型将被分布式模型替换，然后分布式模型可以很容易地拦截forward()调用以执行相应的必要操作。
1.8K20发布于 2021-11-24 - 来自专栏微信公众号【Java技术江湖】
分布式系统理论基础8：zookeeper分布式协调服务
，这对后端工程师来说是很重要的一门学问，我们会逐步了解分布式理论中的基本概念，常见算法、以及一些较为复杂的分布式原理，同时也需要进一步了解zookeeper的实现，以及CAP、一致性原理等一些常见的分布式理论基础 ，以便让你更完整地了解分布式理论的基础，为后续学习分布式技术内容做好准备。 分布式服务协调员zookeeper - 应用场景和监控 zookeeper在分布式系统中作为协调员的角色，可应用于Leader选举、分布式锁、配置管理等服务的实现。 分布式锁的实现与以上Leader选举的实现相同，稍作修改，我们还可以基于ZK实现lease机制（有期限的授权服务）。 在各种分布式系统中，我们经常可以看到zookeeper的身影。
49710发布于 2019-12-03 - 来自专栏java达人
分布式系统模式8-Singular Update Queue
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
86910发布于 2021-01-05 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (8) --- on spark
[源码解析] 深度学习分布式训练框架 horovod (8) --- on spark 目录 [源码解析] 深度学习分布式训练框架 horovod (8) --- on spark 0x00 摘要 0x01 本系列其他文章如下： [源码解析] 深度学习分布式训练框架 Horovod (1) --- 基础知识 [源码解析] 深度学习分布式训练框架 horovod (2) --- 从使用者角度切入 [源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架 [源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构 [源码解析] 深度学习分布式训练框架 horovod Spark可以使开发者用单机串行程序的思维来开发分布式程序，这样用户可以更加专注于算法本身，而不需将精力过多放在分布式逻辑上。 | | | | | | | | | | +----------------------------------------> 8
2.6K30发布于 2021-07-01 - 来自专栏码农沉思录
聊聊redis分布式锁的8大坑
前言 在分布式系统中，由于redis分布式锁相对于更简单和高效，成为了分布式锁的首先，被我们用到了很多实际业务场景当中。 但不是说用了redis分布式锁，就可以高枕无忧了，如果没有用好或者用对，也会引来一些意想不到的问题。 今天我们就一起聊聊redis分布式锁的一些坑，给有需要的朋友一个参考。 8 主从复制的问题 上面花了这么多篇幅介绍的内容，对单个redis实例是没有问题的。 but，如果redis存在多个实例。 在分布式环境中，CAP是绕不过去的。 那么请使用AP类型的分布式锁，比如：redis，它是基于内存的，性能比较好，但有丢失数据的风险。 其实，在我们绝大多数分布式业务场景中，使用redis分布式锁就够了，真的别太较真。
4.6K53编辑于 2022-01-11 - 来自专栏Java编程大本营
8种分布式ID生成方法
此时一个能够生成全局唯一ID的系统是非常必要的，那么这个全局唯一ID就叫分布式ID。 分布式ID需满足那些条件 全局唯一：基本要求就是必须保证ID是全局性唯一的。 形式为 8-4-4-4-12，总共有 36个字符。 = 2; -- 起始值 set @@auto_increment_increment = 2; -- 步长 这样两个MySQL实例的自增ID分别就是： 1、3、5、7、9 2、4、6、8、 对于时钟回拨的问题，DefaultUidGenerator采用了比较简单粗暴的方式，直接抛出错误 [4hm8v0bmfx.png] 由上图可知，UidGenerator的时间部分只有28位，这就意味着UidGenerator github地址：https://github.com/Meituan-Dianping/Leaf 来源：https://mp.weixin.qq.com/s/SrGDE8G9QC_UZlTRcOIcDw
2K00发布于 2021-01-25 - 来自专栏YP小站
K8S部署分布式调度任务Airflow
Kubernetes 1.20, 1.19, 1.18 1.20, 1.19, 1.18 PostgreSQL 9.6, 10, 11, 12, 13 9.6, 10, 11, 12, 13 MySQL 5.7, 8 5.7, 8 SQLite 3.15.0+ 3.15.0+ MSSQL(Experimental) 2017,2019 注意: MySQL 5.x 版本不能或有运行多个调度程序的限制——请参阅调度程序文档 StorageClass PS: 使用NAS极速存储 # 编辑 StorageClass 文件 $ vim alicloud-nas-airflow-test.yaml apiVersion: storage.k8s.io Airflow Ingress Nginx 访问入口 # 生成 ingress nginx 配置文件 $ vim airflow-ingress.yaml apiVersion: networking.k8s.io service: name: airflow-webserver port: number: 8080 # 应用到K8S
3.9K30编辑于 2021-12-06 - 来自专栏苏三说技术
聊聊redis分布式锁的8大坑
前言 在分布式系统中，由于redis分布式锁相对于更简单和高效，成为了分布式锁的首先，被我们用到了很多实际业务场景当中。 但不是说用了redis分布式锁，就可以高枕无忧了，如果没有用好或者用对，也会引来一些意想不到的问题。 今天我们就一起聊聊redis分布式锁的一些坑，给有需要的朋友一个参考。 8 主从复制的问题 上面花了这么多篇幅介绍的内容，对单个redis实例是没有问题的。 but，如果redis存在多个实例。 在分布式环境中，CAP是绕不过去的。 那么请使用AP类型的分布式锁，比如：redis，它是基于内存的，性能比较好，但有丢失数据的风险。 其实，在我们绝大多数分布式业务场景中，使用redis分布式锁就够了，真的别太较真。
75200编辑于 2022-08-25 - 来自专栏函数式编程语言及工具
Akka（8）： 分布式运算：Remoting-远程查找式
Akka的消息系统最高境界可以实现所谓的Actor位置透明化，这样在Akka编程中就无须关注Actor具体在哪个JVM上运行，分布式Actor编程从方式上跟普通Actor编程就不会有什么区别了。 actor matched the request. */ def getActorRef: Optional[ActorRef] = { import scala.compat.java8.
2.2K90发布于 2018-01-05 - 来自专栏程序猿的大杂烩
在CentOS8下分布式部署Apollo配置中心
本文的主要目的是记录下如何在CentOS8下分布式部署Apollo配置中心。 不同集群的配置 配置修改实时生效（热发布） 版本发布管理 灰度发布 权限管理、发布审核、操作审计 客户端配置信息监控 提供Java和.Net原生客户端 提供开放平台API 部署相对简单 中文文档完善 官方的分布式部署文档 ： 分布式部署指南 如果只是想在本地开发时快速搭建一个Apollo环境的话，参考官方的Quick Start即可： Quick-Start ---- 准备工作 下图是Apollo架构模块的概览： ? 首先使用虚拟化软件创建两个CentOS8虚拟机，我这里用的是VMware： ? 至此我们就完成了Apollo的分布式部署，这里只是部署了一套环境，如果有多套环境，只需要重复部署Apollo Config Server小节的步骤部署多个Config Server节点即可。
2.1K20发布于 2020-11-12 - 来自专栏别先生
Kubernetes（k8s）之分布式文件系统glusterfs
1、为什么使用分布式文件系统glusterfs？ 答：使用持久化存储nfs，但是使用nfs这个共享存储特别简单，但是后期在扩容和管理方面都特别的不方便，在生产中一般都是使用分布式文件系统，这里使用的是分布式文件系统glusterfs。 2、什么是分布式文件系统glusterfs？ 答：分布式文件系统glusterfs是一个开源分布式文件系统，具有强大的横向扩展能力，可以支持数PB存储容器和数千客户端，通过网络互联成一个并行的网络文件系统。 ，使用最多的是分布式复制卷，其他有的卷不稳定肯能会丢失书数据，最稳定的一种就是分布式复制卷，分布式复制卷要求至少四个存储单元，就是刚才创建的目录，正常情况下，一个目录就要挂载一个空的硬盘，一个硬盘就是一个存储单元
1.7K30发布于 2020-07-06 - 来自专栏IT大咖说
深度学习：基于K8S的分布式Tensorflow系统
嘉宾演讲视频及PPT回顾：http://t.cn/RnVeXX1 我今天的分享，第一个先介绍下什么是深度学习，有一个什么样的历史，包括它现在的一些现状；第二个是TaaS的简介；最后是分布式Tensorflow TensorFlow是深度学习的框架，它支持的语言很多，也支持分布式的东西。有人问，怎么用一句话来概括TensorFlow的特点？ TensorFlow+Kubernetes 我们这边其实利用了TensorFlow和Kubernetes结合来解决了真正遇到的问题，我们接下来会给大家简单地介绍一下怎样把一个分布式的TensorFlow
1.2K80发布于 2018-04-03 - 来自专栏云原生技术社区
K8s 上的分布式存储集群搭建（Rookceph）
本篇文章将手把手带你在 K8s 上搭建分布式存储集群（Rook/ceph） 1 环境准备 1.1 基础环境 3台配置一致的虚拟机： 虚拟机配置：4c 8g 虚拟机操作系统：cents7 硬盘：vda： Rook本身并不是一个分布式存储系统，而是利用 Kubernetes 平台的强大功能，通过 Kubernetes Operator 为每个存储提供商提供服务。 Rook 将分布式存储系统转变为自我管理、自我扩展、自我修复的存储服务。 目前主流使用的后端是Ceph ，Ceph 提供的不仅仅是块存储；它还提供与 S3/Swift 兼容的对象存储和分布式文件系统。 -75bb6c6dd9-lnncg 1/1 Running 0 38m rook-ceph-crashcollector-k8s-node-90-84b555c8c8
4.7K31编辑于 2021-12-10 - 来自专栏chester技术分享
.NET分布式Orleans - 8 - 贪吃蛇项目实战（准备阶段）
到目前为止，Orleans7的核心概念基本已经学完，我准备使用Orleans7做一个项目实战，来总结自己的学习效果。
33010编辑于 2024-04-13 - 来自专栏张善友的专栏
在 k8s 以外的分布式环境中使用 Dapr
在Dapr 文档和实践案例中多是推荐采用k8s, 其实我目前也是在k8s 上操作的，有公有云TKE，AKS，还有私有云的Rancher ，它并没有传闻中的那么难，而且我认为它非常容易上手。 不过，我还是有很多人不愿意使用k8s 。那么在虚拟机场景下如何使用Dapr呢？ Man Group：https://blog.dapr.io/posts/2021/10/05/join-us-for-daprcon-october-19th-20th-2021/ 如果我们脱离K8s 只能在可以使用多播的环境中使用，这在云环境下通常是不可用的，在云环境下还有一个选择，官方文档里有 ：详细介绍了关于 HashiCorp Consul 服务发现组件的信息，它既可以用于虚拟机也可以用于k8s
63310编辑于 2022-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号