- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术杂记
RabbitMQ管理8
/usr/bin/env ruby ## encoding: utf-8 require "bunny" conn = Bunny.new conn.start conn = Bunny.new(:hostname /usr/bin/env ruby ## encoding: utf-8 require "bunny" conn = Bunny.new conn.start ch = conn.create_channel
24110编辑于 2022-04-23 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，来构成透明多级缓存（Transparent Multilevel Cache，TMC）多级缓存的查询过程如下图：缺点：代码侵入性大，由开发人员维护管理一、二级缓存数据不一致问题解决：设计原则：变更以分布式缓存中的数据为准 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能
73910编辑于 2025-01-20 - 来自专栏技术杂记
Mycat 管理命令8
查看分析器状态 mysql> show @@parser; +----------------+-------------+------------+----------------+------------------+--------------+------------+ | PROCESSOR_NAME | PARSE_COUNT | TIME_COUNT | MAX_PARSE_TIME | MAX_PARSE_SQL_ID | CACHED_COUNT | CACHE_SIZE | +-----
32420编辑于 2021-12-02 - 来自专栏人工智能LeadAI
分布式资源管理
DRM(分布式资源管理) 大型的分布式系统中存在很多的配置文件，分布式资源管理解决了配置文件同步更新的问题，不仅仅是配置文件，此技术还可以支持缓存数据的同步一致，下面将简单介绍一下基于消息机制的分布式资源管理系统 一台机器修改了数据库的配置信息后，其他机器定时轮询进行更新，轮询的时间设置是个关键，时间设置长了会导致数据长时间不同步，时间设置的短了会导致频繁访问数据库造成资源的浪费，所以该方法也不适合对于读多写少的分布式系统 06 总结 DRM主要用于有读多写少任务的分布式系统中，其保证了最终一致性，且必须由后台去调用，如果报漏给前端，会造成大量调用，给配置中心带来压力。
1.8K50发布于 2018-03-08 - 来自专栏平凡少年
zk分布式任务管理
基于这种监听，可以实现注册中心、分布式同步等功能。 zk分布式任务管理机制 使用zookeeper的临时顺序节点，来实现分布式任务的调度功能，每一台服务启动的时候都向zookeepe指定的目录下注册一下临时顺序节点，并把该节点记录的系统里，每一次任务执行的时候 //以下注释的为创建节点的用户名密码 //builder.authorization("digest", "rt:rt".getBytes("UTF-8" nodepath = client.create().creatingParentsIfNeeded().withMode(mode).forPath(path,nodeData.getBytes("UTF-8" byte[] b = list.get(rand.nextInt(list.size())).getData(); return new String(b,"utf-8"
1.6K40发布于 2019-05-07 - 来自专栏JavaQ
浅谈分布式Session管理
随着Web应用系统架构的不断升级，对Session管理的需求也变得越来越高。本篇将详细总结分布式部署环境下的Session管理。 为什么要使用分布式Session Web应用在单机部署的情况下，Session是被单个应用服务器存储管理的，由于只有一个应用服务器，用户的所有请求都是通过它进行响应处理的，所以能够很容易实现会话跟踪和保持 所以，在分布式架构或微服务架构下，必须保证一个应用服务器上保存Session后，其它应用服务器可以同步或共享这个Session。 分布式session管理实现方案 分布式Session有如下几种实现方式。 可用方案：开源方案tomcat-redis-session-manager，暂不支持Tomcat8。
1.1K70发布于 2018-04-04 - 来自专栏性能与架构
分布式配置管理
配置管理是系统中的基础服务，例如java的web系统中，常把数据库的配置信息放到jdbc.properties这个配置文件中，这就是一个简单的配置管理 在大型分布式系统中，配置管理的需求更加普遍，例如降级服务 就要有一套配置管理系统，可以让运营人员简单的关闭/打开某项服务，并且立即生效，不需要重启服务 大型系统通常是拆分成多个子系统的分布式结构，这些大大小小的子系统部署在不同的服务器中，使用配置文件的方式一定是不行了 ，但稳定性需要测试观察，所以自己开发是有一定成本的，现在已经有了专业的开源项目来实现分布式配置管理 例如 百度的 disconf 淘宝的 diamond hadoop的子项目 zookeeper 下面以zookeeper为例，看下他是如何实现分布式配置管理的 整体结构图 ? （3）各个分布式应用 每个应用只需要调用一下ZK的接口，把自己注册到ZK，就可以自动接收配置的变化信息 各部分的工作关系图 ?
1.6K40发布于 2018-04-03 - 来自专栏波波烤鸭
shiro教程8(缓存管理)
xml version="1.0" encoding="UTF-8"? -- 配置缓存管理器 --> <bean id="cacheManager" class="org.apache.shiro.cache.ehcache.EhCacheManager"> <!
1.4K60发布于 2019-04-02 - 来自专栏Devops专栏
8.Go工程管理
8.Go工程管理 1．工作区介绍 通过前面函数的学习，我们能够体会到函数的优势，就是可以将不同的功能放在不同的函数中实现，主函数（main( )）可以直接调用。 这样结构非常的清晰，也非常方面代码的管理。如果我们把所有的代码都写在main( )函数中，会出现什么样的情况呢？ 代码混乱，非常不容易管理。 如果我们做的项目代码量越来越多，那么该文件会变的非常臃肿，代码也会变得非常难管理。所以，我们在开发中，除了要定义函数，同时还要将代码放在不同的文件中。 这就涉及到项目的工程管理也就是怎样对项目中的文件进行管理。 为了更好的管理项目中的文件，要求将文件都要放在相应的文件夹中。 例如：上面我们的案例中，可以将用户管理的操作放在userinfo目录下，商品管理模块可以再定义一个目录,例如:product.如下图所示： image-20210505235307911 product.go
52820编辑于 2022-01-17 - 来自专栏深度学习与python
分布式计算的 8 大谬误
作者 | Sergio De Simone 译者 | 平川 策划 | 赵钰莹 在 Ably 博客最近的一篇文章中，Alex Diaconu 回顾了分布式计算的 8 大谬误，并提供了一些应对建议 在 Ably 博客最近的一篇文章中，Alex Diaconu 回顾了分布式计算的 8 大谬误，并提供了一些应对建议。 这 8 大谬误是关于分布式计算的一组假设，这些假设可能会导致软件开发的失败：网络是可靠的；延迟为 0；带宽是无限的；网络是安全的；拓扑结构是不变的；只有一名管理员；传输成本为 0；网络是同构的。 InfoQ：关于分布式计算的谬误，自从最初提出以来，已经过去了近三十年，但现在它们仍然很有意义。在 Ably，它们的作用是什么？ Diaconu： 就像前面提到的那样，分布式系统的挑战，以及与分布式系统构建技术和机制相关的广泛的科学领域，已经得到了很好的研究。
56920发布于 2021-10-13 - 来自专栏罗西的思考
TensorFlow 分布式环境(8) --- 通信机制
[源码解析] TensorFlow 分布式环境(8) --- 通信机制 目录 [源码解析] TensorFlow 分布式环境(8) --- 通信机制 1. 基础实现 Rendezvous 1.2.3 跨进程 RemoteRendezvous 1.2.4 BaseRemoteRendezvous 1.2.5 RpcRemoteRendezvous 1.3 管理类 ] TensorFlow 分布式环境(4) --- WorkerCache [源码解析] TensorFlow 分布式环境(5) --- Session [源码解析] TensorFlow 分布式环境( 每个全局唯一的 "step_id" 对应于一个由 RendezvousMgr 管理的本地 rendezvous实例。 1.3.1 接口 RendezvousMgrInterface 是接口类。 [腾讯机智] TensorFlow源码解析(1): 创建会话 05tensorflow分布式会话 第八节，配置分布式TensorFlow TensorFlow 分布式（Distributed TensorFlow
1.5K10编辑于 2022-05-09 - 来自专栏分布式｜微服务｜性能优化｜并发编程｜源码分析
8.工作负载管理-使用和管理DaemonSet
kind: DaemonSet metadata: name: daemonset-fluentd-elasticsearch namespace: default labels: k8s-app nodeServiceType: elasticsearch 标签 执行上面的yaml之后，发现只有DaemonSet，并没有真正部署pod，原因是我还没有给任何节点打上nodeServiceType标签 现在给k8s-node2 打上标签 kubectl label node k8s-node2 nodeServiceType=elasticsearch 再执行命令可以看到，pod被调度到k8s-node2部署了 再给k8s-node2 打上标签，也能观察到同样的效果 当我们尝试给k8s-master大标签，会发生什么呢? 发现并没有部署在k8s-master,这是为什么呢？我们在后面章节给大家介绍
38810编辑于 2024-04-17 - 来自专栏分布式存储
ceph分布式存储-管理crushmap
完全手动管理 CRUSH Map 也是可能的，在配置文件中设定： osd crush update on start = false 2. type 0 osd type 1 host type 2 chassis type 3 rack type 4 row type 5 pdu type 6 pod type 7 room type 8 OSD 要从在线集群里把某个 OSD 彻底踢出 CRUSH Map，或仅踢出某个指定位置的 OSD，执行命令： ceph osd crush remove {name} {<ancestor>} 8.
1.2K20发布于 2020-07-20 - 来自专栏java 后台
分布式订单管理系统设计
订单管理系统可以看做是互联网电商的核心，串联着整个电商交易的全流程。如何设计并保障系统高可用有着极其重要的意义。下面我们就简单聊聊一个分布式订单管理系统的设计及其容灾架构。 这种方案的优点是生成的单号中包含时间信息，有助于订单追踪和管理。同时，在分布式系统中，只要保证机器时间同步，就能生成唯一单号。其缺点在于，如果多个订单在同一时间戳内创建，需要额外逻辑来保证唯一性。 而订单管理系统的接口幂等，最主要是为了保证上游重复调用情况下，系统不错误地重复生成相同订单。这是分布式系统设计中的一个重要概念，确保了系统的可靠性和一致性。 8. 退款/退货(Refunded/Returned). 订单中的商品被退回，且用户收到退款。触发条件：退货物流确认商品已返回，系统处理退款操作。通常退款/退货我们又称为电商系统的逆向单。 对于互联网电商订单管理系统，数据一致性确保所有用户看到的订单信息是当前的和准确的，不管它们访问的是哪一个服务器。 而分布式数据一致性是在分布式系统中，多个副本之间能够保持数据一致的特性。
1.8K73编辑于 2023-11-07 - 来自专栏进击的Coder
分布式爬虫的部署之Gerapy分布式管理
Gerapy是一个基于Scrapyd、Scrapyd API、Django、Vue.js搭建的分布式爬虫管理框架。接下来将简单介绍它的使用方法。 一、准备工作 请确保已经正确安装好了Gerapy。 我们用浏览器打开：http://localhost:8000，即可进入Gerapy的管理页面，这里提供了主机管理和项目管理的功能。 重新回到Gerapy管理界面，点击项目管理，即可看到当前项目列表，如下图所示。 ? 由于此处有过打包和部署记录，这里分别予以显示。 Gerapy提供了项目在线编辑功能。 部署完毕之后就可以回到主机管理页面进行任务调度。点击调度即可进入任务管理页面，可以查看当前主机所有任务的运行状态，如下图所示。 ? 通过Gerapy，我们可以更加方便地管理、部署和监控Scrapy项目，尤其是对分布式爬虫来说，使用Gerapy会更加方便。
1.3K72发布于 2018-06-25 - 来自专栏分布式存储
ceph分布式存储-用户管理
另外，Ceph 用户必须具有执行权限才能够使用 Ceph 的管理命令。 Ceph 管理员用户可在创建或更新普通用户时赋予他相应的能力。 描述: 授权此用户读、写和执行某守护进程/存储池，且允许执行管理命令。 profile osd 描述: 授权一个用户以 OSD 身份连接其它 OSD 或 Monitor。 三、管理用户 用户管理功能可以让 Ceph 存储集群的管理员有能力去创建、更新和删除集群的普通用户。 可以导入一个或多个用户： ceph auth import -i /path/to/keyring 比如： sudo ceph auth import -i /etc/ceph/ceph.keyring 四、秘钥管理
1.6K20发布于 2020-07-20 - 来自专栏萌海无涯
Django学习管理静态文件（8）
前面学习了返回HTML文件，还有个问题就是 HTML 文件 包含了 图片 css js 文件，那么这类文件怎么返回呢？
79510发布于 2019-09-03 - 来自专栏devops探索
k8s-pod管理
Pod管理 增删改查 资源限制 调度约束 重启策略 健康检查 问题定位 以nginx为例 # cat pod.yaml apiVersion: v1 kind: Pod metadata: name memory: "64Mi" cpu: "250m" limits: memory: "128Mi" cpu: "500m" k8s OnFailure #异常退出，重启容器 健康检查 livenessProbe：如果检查失败，将杀死容器，根据pod的restartPolicy来操作 readinessProbe: 如果检查失败，k8s
89020发布于 2020-07-31 - 来自专栏码农知识点
zookeeper源码分析(8)-会话管理
本文主要分析会话生命周期中会话状态的变化过程和客户端服务端如何管理会话。 CONNECTED，并触发SyncConnected事件 服务端处理 因为服务端通过会话管理器来管理会话，所以先介绍下会话管理器的内容。 服务端初始化时会初始化自己的会话管理器SessionTracker sessionTracker,Leader服务器的实现为：LeaderSessionTracker，Follower和Observer 如果将会话管理器的定期检查会话的时间点和会话的过期时间点都转化为心跳时间的整数倍，那么就比较好管理会话。 通过roundToNextInterval方法将这些时间化为心跳时间的整数倍。 会话的分桶管理示意图为： ?
1.7K20发布于 2020-06-22 - 来自专栏进击的程序猿
分布式计算中的8个谬论
8个分布式计算的谬论 The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. monitoring on-going operations as well; 总结起来，当我们面对多administrator的时候，必然会收到administrator的约束，我们能做的就是帮助他们管理自己的应用 Someone, somewhere will have to pick the tab and pay these costs. 8. application level Do not rely on proprietary protocols--it would be harder to integrate them later 总结 分布式系统虽然已经发展好多年了
65820发布于 2018-08-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号