- 综合排序
- 最热优先
- 最新优先
- 来自专栏喔家ArchiSelf
分布式系统的时间问题
2 物理时间：墙上时钟 3 逻辑时钟：为事件定序 4 Turetime：物理时钟回归 5 区块链：重新定义时间 6 其他影响 6.1 NTP的时间同步 6.2 有限时间内的不可能性 6.3 4 Truetime：物理时钟回归 Google的Spanner提出了一种新的思路，在不进行通信的情况下，利用高精度和可观测误差的本地时钟 （TrueTime API）给事件打上时间戳，并且以此比较分布式系统中两个事件的先后顺序 例如，返 回的时间戳是1分30秒350毫秒，而误差是5毫秒，那么真实的时间在1分30秒345毫秒到355毫秒之间。真实的系统中ε平均下来是4毫秒。 通过版本号、时间周期，或者到某个固定时间点认为租约的证书失效 租约可以说是分布式系统的心跳机制。在分布式系统中，像分布式锁，集群leader这样角色，可能随时变化。 www.geekhub.cn/a/1681.html http://muratbuffalo.blogspot.fi/2013/07/spanner-googles-globally-distributed4.
1.2K53发布于 2020-02-26 - 来自专栏开源心路
分布式系统集群的时间同步
加入下面3行： restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap（注释:用于让192.168.1.0/24网段上的机器能和本机做时间同步） server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10 后两行是让本机的ntpd和本地硬件时间同步。 当然，我们也可以添加server xxx.xxx.xxx.xxx，让他和其他的time server时间同步。 4. 第三步， 这样node1就成为一台time server了，现在我们配置node2这台机器（这里我们用定时任务来定时同步时间） 首先关掉这台机器上的ntpd服务： service ntpd stop(本次关掉 crontab -e #synchronize time with node1 */5 * * * * /usr/sbin/ntpdate nimbus >/dev/null 2>&1 意思是每5分钟同步一次时间
49320编辑于 2023-06-29 - 来自专栏运维部落
分布式系统的时间问题
2 物理时间：墙上时钟 3 逻辑时钟：为事件定序 4 Turetime：物理时钟回归 5 区块链：重新定义时间 6 其他影响 6.1 NTP的时间同步 6.2 有限时间内的不可能性 6.3 4 Truetime：物理时钟回归 Google的Spanner提出了一种新的思路，在不进行通信的情况下，利用高精度和可观测误差的本地时钟 （TrueTime API）给事件打上时间戳，并且以此比较分布式系统中两个事件的先后顺序 例如，返 回的时间戳是1分30秒350毫秒，而误差是5毫秒，那么真实的时间在1分30秒345毫秒到355毫秒之间。真实的系统中ε平均下来是4毫秒。 通过版本号、时间周期，或者到某个固定时间点认为租约的证书失效 租约可以说是分布式系统的心跳机制。在分布式系统中，像分布式锁，集群leader这样角色，可能随时变化。 www.geekhub.cn/a/1681.html http://muratbuffalo.blogspot.fi/2013/07/spanner-googles-globally-distributed4.
1.2K74发布于 2020-02-26 - 来自专栏罗西的思考
PyTorch 分布式(4)------分布式应用基础概念
[源码解析] PyTorch 分布式(4)------分布式应用基础概念 目录 [源码解析] PyTorch 分布式(4)------分布式应用基础概念 0x00 摘要 0x01 基本概念 0x02 设计思路 在这个简短的教程中，我们将介绍 PyTorch 的分布式包。我们将看到如何设置分布式，使用不同的通信策略，并了解包的一些内部结构。 Store : 分布式包（distributed package）有一个分布式键值存储服务，这个服务在组中的进程之间共享信息以及初始化分布式包 （通过显式创建存储来作为init_method的替代）。 把if __name__ == '__main__': 替换为init_process(0, 0, run, backend='mpi') 运行 mpirun -n 4 python myscript.py dist.init_process_group( init_method='tcp://10.1.1.20:23456', rank=args.rank, world_size=4)
3.2K32发布于 2021-11-16 - 来自专栏罗西的思考
TensorFlow 分布式环境(4) --- WorkerCache
[源码解析] TensorFlow 分布式环境(4) --- WorkerCache 目录 [源码解析] TensorFlow 分布式环境(4) --- WorkerCache 1. Cache 在系统中的位置 4. 可以说，在 TensorFlow 分布式环境下处处可见缓存的使用。 4. [腾讯机智] TensorFlow源码解析(1): 创建会话 05tensorflow分布式会话 第八节，配置分布式TensorFlow TensorFlow 分布式（Distributed TensorFlow
75620编辑于 2022-05-09 - 来自专栏爱可生开源社区
分布式 | dble 中分布式时间戳方式的全局序列
dble 中目前有 4 种方式的全局序列，分别是 MySQL offset-step 方式、时间戳方式、分布式时间戳方式、分布式 offset-step 方式全局序列。 本文将会从测试的角度简单讲述一下分布式时间戳方式的全局序列的环境搭建及使用。 一、分布式时间戳方式的全局序列简介 此种方式提供一个基于 Zookeeper（以下简称 ZK）的分布式 ID 生成器，可以生成全局唯一的 63 位（首位恒为 0，保证全局序列为正数）二进制 ID。 位值（可以使用 17 年） 二、搭建使用分布式时间戳方式的全局序列的环境 1. START_TIME：指定开始时间，时间格式固定，必须为 2010-11-04 09:42:54 这种格式。
90030发布于 2020-06-04 - 来自专栏数据分析与挖掘
hadoop完全分布式之集群时间同步
找一个机器，作为时间服务器，所有的机器都和这台机器时间进行定时的同步，比如每隔十分钟，同步一次时间。 1、以hadoop02作为时间服务器。 检查ntp是否安装 rpm -qa |grep ntp 2、修改ntp配置文件 （1）授权192.168.1.0-192.168.1.255网段上的机器可以从这台机器上查询和同步时间 （2）集群在互联网中不使用其它互联网上的时间 （3）当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其它节点提供时间同步。 加入： server 127.127.1.0 fudge 127.127.1.0 stratum 10 3、修改/etc/sysconfig/ntpd文件 让系统时间和启动时间一起同步 vim /etc /sysconfig/ntpd 加入：SYNC_HWCLOCK=yes 4、重启ntp服务 service ntpd start 5、设置ntp服务开机启动 chkconfig ntpd on 6、其它机器配置
70430发布于 2020-08-26 - 来自专栏会跳舞的机器人
Spring Cloud（4）——分布式配置中心
org.springframework.cloud.config.server.EnableConfigServer; /** * @author: 会跳舞的机器人 * @email:2268549298@qq.com * @date: 17/2/19 下午2:35 * @description:分布式配置中心启动主类 spring.cloud.config.server.git.username=username #git用户密码 spring.cloud.config.server.git.password=password 4、 environment: name=database,component,business, profiles=[dev], label=master, version=a9f8f18e682a03f4d7f046c754472f394313fa82
53030发布于 2018-09-21 - 来自专栏技术墨客
Hazelcast集群服务(4)——分布式Map
分布式Map基础功能 Map是我们再最常用的数据接口之一，时常用于存储某种关系值。在前面介绍Hazelcast的文章中已经用Map举了很多分布式环境使用的例子。 data"); map.put(1, "Cait Cassiopeia"); map.put(2, "Annie"); map.put(3, "Evelynn"); map.put(4, 前面的博文已经介绍，集群中分布式存储的数据都会被均匀的存储在每个节点上。我们使用Map进行分布式数据存储时，每个节点会按条目（Entry）数将数据进行分布，并且每条数据都会有备份。 store.put(1, "Azeroth"); store.put(2, "Duskwood"); store.put(3, "Elwynn Forest"); store.put(4, 至此，Hazelcasl分布式Map的基本功能就介绍完毕了。
4.2K30发布于 2018-08-15 - 来自专栏CRPER折腾记
Firebug 折腾记_(4) 响应时间监测
全部是汇总所有资源信息,后面的都是针对性的筛选信息 内容列表依次解释 URL–可以展开,里面包含很详细的头部信息和内容 头信息: 可以看到很详细的东东,比如内容编码,告知网站哪种搞的(PHP),时间等等 响应 – 服务器响应回来的东东 HTML – 可视化界面 缓存 – 缓存大小,最大期限及修改和获取的时间 cookies – 不用多说了 状态 – 这个很好理解,比如200,304,404 各种服务器返回的状态 域:向哪里请求 大小 – 数据块大小 远程IP,对外的IP 时间线:资源请求的时间,鼠标移动到上面可以详细的看到消耗时间的构成 Cookie 直接上图,再做解释 里面可以新建 内容列表 名称: cookie名称 内容:cookie的内容 – 传送来传送去,一般放在请求的头部 域:来自哪个网站的cookie–看域名就知道了 原始大小:cookie的大小, cookie最大为4K (现在越来越多网站过渡到h5的localstorage了) 路径 cookie过期时间 仅http:(Http only) 安全 – 我也不大清楚 ,cookie如何验证是否安全的!!!
23910编辑于 2024-02-19 - 来自专栏腾讯云混沌工程团队
【云顾问-混沌】容易忽视的分布式时间
导语 时间在分布式系统中是一个重要且有趣的问题。时间是我们一直想要准确测量的量。为了知道特定事件在一天中的什么时间发生在特定计算机上，有必要将其时钟与权威的外部时间源同步。 很显然，在复杂的分布式系统中，准确的时间十分重要。既然时间这么重要，那时间不准确或者出现跳变的情况，会对系统产生影响吗？答案是会的。 手机里的时间准确吗？ 当别人问你现在什么时间的时候，你会怎么做？ 打开手机，看一眼时间，告诉对方。但是这个时间真的准确吗？并不是！现在绝大部分的电子设备都是和协调时间时(UTC)对准的，你可以打开time.is查看当前的UTC时间。 但是这个时间是经过协调的，真正准确的时间是国际原子钟时间（International Atomic Time, TAI）。UTC时间和TAI时间是有差异的。 点击添加演练动作,选择shell脚本中的CVM时间跳变故障动作。 4. 提交创建演练 开始演练 启动告警系统，正常运行 2. 启动故障动作。 3. 发现问题，启动恢复动作，恢复时间。
86810编辑于 2024-03-15 - 来自专栏四火的唠叨
聊一聊分布式系统中的时间
今天聊一下时间的话题。在分布式系统中，“时间” 是一个挺有趣，但是很难处理的东西。我把自己的理解简单整理下来。 不可靠的物理时钟 首先，单一节点的物理时钟是不可靠的。 如果一个分布式系统，多个节点想要仅仅依赖于物理时钟来完成什么操作，那么只能祈祷运气足够好了。 很多分布式系统中都会使用一种 lease（租约）的机制，比如一个集群中的 leader，作为 leader 会扮演不同的角色，但是必须要 renew 这个 lease，否则超过一定的时间，无论它给不给响应 上面说的节点超时的情况我在《谈谈分布式锁》里面有详细说明。 TT.before(t) 它返回当前时间是不是肯定在 t 之前 有了 TrueTime，这让分布式系统中，本来无法通过物理时钟解决的问题也变得可解决了。
37410编辑于 2024-10-21 分布式缓存算法获IEEE时间检验奖
分布式缓存算法荣获2022年IEEE INFOCOM时间检验论文奖某中心应用科学经理Anwar Walid因其2010年关于内容分发网络分布式缓存算法的论文，荣获2022年IEEE INFOCOM时间检验奖 当时，大型视频对象存储在通常远离用户的中央服务器中，导致视频下载时间过长以及流媒体传输延迟或中断。通过在网络提供商的不同位置设置缓存，存在优化机会。 三大技术目标"该方案通过分布式缓存实现三个目标，"Walid解释道，"一是减少延迟，提高客户观看视频时的服务质量；二是提高下载大容量内容的吞吐量；三是提升可靠性。"" 分布式策略根据附加到每个对象的效用函数，决定是否缓存对象或将其从缓存中驱逐。"我们的解决方案提供了数据驱动的分布式算法来管理这些缓存，"Walid说，"决策包括例如缓存哪些对象以及在哪里缓存。" 我的背景有助于贡献分布式缓存解决方案的设计，帮助解决了这个问题，"他解释道。IEEE（电气与电子工程师学会）是全球最大的专业技术组织，致力于推动技术发展造福人类。
15410编辑于 2025-08-29- 来自专栏开源部署
分布式服务框架的4项特性
因此分布式系统需要有一种方式来清晰的了解系统的调用及运行状况，测量系统的运行性能，方便准确的指导系统的优化及改进。 由于trace的主要功能都是依赖日志输出来完成，因此通常也需要建设相关的分布式日志系统及数据实时分析展示系统等，分布式日志收集及数据实时分析也是一个非常大的话题，本文不展开详谈。 但由于ZooKeeper本身只是一个通用工具，分布式服务具体场景各种高级特性还需要自行在此基础上实现。 4、服务之间的调度及生命周期管理 目前大部分服务的部署都是按照事先的规划安装在机房不同的服务器上，配置服务通常只是起服务节点的failover作用，业务中真正按弹性调度来运作的系统还不普遍。 上面介绍了这么多，主要是最近考虑团队在上述1-4之间做一些事情。一方面目前业界在这几点之间还有一些缺失或者欠优化之处，另外1-4点之间也可以适当做一些实现的整合。
29810编辑于 2022-07-03 - 来自专栏golang算法架构leetcode技术php
golang源码分析：dtm分布式事务（4）
我们继续上一篇golang源码分析：dtm分布式事务（3）分析api服务的源码，位置位于dtmsvr/svr.go： func StartSvr() *gin.Engine dtm server to this url # EndPoint: 'localhost:36790' 总结下就5件事 1，启动http服务 2，启动grpc服务 3，将分支的更新同步到存储 4， ) process(branches []TransBranch) error { rerr = t.getProcessor().ProcessOnce(branches) 每一种分布式事务模型的处理逻辑都不一样 OnConstraint: "gid_branch_uniq", DoUpdates: clause.AssignmentColumns(updates), }).Create(branches) 4，
61210编辑于 2023-03-01 - 来自专栏罗西的思考
PyTorch 分布式 Autograd (4) ---- 如何切入引擎
[源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 目录 [源码解析] PyTorch 分布式 Autograd (4) ---- 如何切入引擎 0x00 摘要 0x02 具体对应如下图： 2.2 分布式示例 接下来看看分布式的例子，这个例子就是官方设计中图例大致对应的代码，我们把 torch.mul(t3, t4) 命名为 t5，加入了 loss。 t4 = torch.rand((3, 3), requires_grad=True) t5 = torch.mul(t3, t4) # Compute some loss. t4 = torch.rand((3, 3), requires_grad=True) t5 = torch.mul(t3, t4) # Compute some loss. t4 = torch.rand((3, 3), requires_grad=True) t5 = torch.mul(t3, t4) # Compute some loss.
52030编辑于 2021-12-04 - 来自专栏初代庄主
4 年时间让 Python 性能提升 5 倍
Guido 在微软开启了一个叫 “Faster-Cpython” 的项目，其目标是在 4 年的时间里让 Cpython 解释器的性能提升 5 倍。 按计划应该是每年把性能提升到之前的 150%，这样经过 4 年刚好提升 5 倍。就 3.11.0 这个版本来说，相比预期还是要差上一些。
54120编辑于 2022-12-19 - 来自专栏听雨堂
Python学习笔记（4）：自定义时间类
Python的时间我实在无法接受，太难用了。我觉得C#的时间就非常完美，简单、好用。 所以，自定义了自己的时间类： 用法： 一个小小的应用，我需要取出每天股市交易的分钟段，开始是这样的： 稍微改进一下，就变成这样了： 这才是Python的魅力之处！
62290发布于 2018-01-23 - 来自专栏小白晋级大师
分布式系统架构4：容错设计模式
这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”； 半开状态 (Half-Open)：是一种中间状态，断路器需要带有自动故障恢复功能，进入OPEN状态一段时间后，断路器会尝试放行一次请求测试服务是否恢复。如果成功，切换回关闭状态；否则，保持打开状态。 比如：“服务 I”发生了超时，假设平均 1 秒钟内会调用这个服务 50 次，就意味着该服务如果长时间不结束的话，每秒会有 50 条用户线程被阻塞。 Tomcat默认HTTP超时时间是20秒，20秒内会阻塞1000条用户线程，而java应用的线程池通常最大设置为200~400，且Java本身是将线程映射为操作系统内核线程来实现的语言环境。 4.重试模式概念：适用于解决系统的瞬间故障，如：网络抖动、服务临时过载问题。通过设定调用超时时间和重试次数，在调用失败后自动重试，提升服务调用成功率。
44610编辑于 2024-12-20 - 来自专栏深度学习自然语言处理
时间序列预测入门必读的4篇论文
时间序列预测在供应链、金融、工业等众多领域有着广泛的应用。与CV、NLP等标准化应用不同，时间序列预测项目与业务场景结合紧密。 ，又要对长期的时间进行预测。 上述4篇论文在深度之眼《时间序列预测项目班》中都有系统地讲解，其第1篇论文《Forecasting at Scale》的讲解业已开源给本公号粉丝，扫下方二维码即可获取。 —— 讲解大纲 —— 1、时间序列概述 什么是时间序列？ 什么是时间序列预测？ 时间序列预测的范式 时间序列预测的专有名词 时间序列的评估 时间序列与机器学习 2、Prophet算法 前言 Prophet 整体视角 模型建模 模型训练 模型预测 PS：会讲解论文代码 ↑
1K10编辑于 2022-04-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号