- 综合排序
- 最热优先
- 最新优先
- 来自专栏java开发的那点事
11-Elasticsearch-logstash数据同步
logstash数据同步 简介 集中, 转换和存储数据, logstach是免费且开放的服务器端数据处理管道, 能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中 官网 https 作为同步边界 logstash-input-jdbc 插件 在es中, 预先创建索引 logstash安装 上传MySQL的驱动包和logstatch的安装包 # 解压 tar -zxvf logstash mkdir sync # 进入sync cd sync/ # 将驱动包拷贝到当前目录 cp /home/software/mysql-connector-java-5.1.41.jar ./ # 创建同步配置文件 elasticsearch { # es 地址 hosts => ["192.168.247.142:9200"] # 同步的索引名 index /logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf 记录时间 Logstash 多表同步到ES https://www.jianshu.com
90720编辑于 2022-10-04 - 来自专栏啄木鸟软件测试
精准测试及其工具（连载11）
浏览器中输入http://<服务器IP地址>:3000/，登录系统，点击确定。然后选择客户端所编译的项目和版本。如图83所示。
61720发布于 2019-12-12 精准PTP 时钟同步的核心力量
以 SYN2407K 型为例，它可作为整个系统中的最高级时钟 GMC（Grandmaster Clock），其他设备提供精准的时间基准；也可作为从时钟，接收上级时钟的同步信号，确保自身与整个系统的时间一致性 IEEE802.1AS 协议是专门为时间敏感网络（TSN）设计的，旨在确保网络中数据传输的精确时间同步。 在工业自动化和汽车电子等对数据传输实时性要求极高的领域，SYN2407 系列模块借助该协议，能够实现设备之间微秒甚至纳秒级别的时间同步，极大地提升了系统的响应速度和运行精度。 车载雷达、摄像头、自动驾驶控制系统等多个电子部件之间需要精确的时间同步，以实现数据的准确融合和处理。 无论是对于追求生产效率和产品质量的工业企业，还是致力于推动汽车智能化发展的汽车制造商，亦或是不断提升网络性能的电信运营商，SYN2407 系列模块都能为其提供强大的时钟同步支持，助力各行业迈向更加精准、
31000编辑于 2025-06-26- 来自专栏网络时间同步
精准计时，北斗GPS网络时间同步带领迈入精准时钟
精准计时，北斗GPS网络时间同步带领迈入精准时钟 精准计时，北斗GPS网络时间同步带领迈入精准时钟 北斗GPS成精确计时先锋 北斗GPS精确时间自动校准技术，是一种简便的获取北斗GPS精确时间信息的专利技术 时钟集传统钟表技术与现代微电子技术、时频技术、通讯技术、计算机技术等多项技术于一身，通过接收北斗GPS时间信息（含日期），再经内置微处理器解码处理实现时间的自动校准，使得北斗GPS时钟显示的时间与国家标准时间自动保持精确同步
85230编辑于 2023-02-24 - 来自专栏Reck Zhang
Networks 11 - 游戏同步模式
游戏同步模式 常见的游戏同步方式分为帧同步和状态同步. 帧同步 帧同步是在关键帧的时候同步操作到服务器, 服务器转发操作给客户端. 客户端只有接收到关键帧后才会进行操作. 区别 核心交互逻辑写在哪 状态同步和帧同步最大区别在于, 核心交互逻辑写在哪里. 帧同步的核心逻辑是写在客户端, 服务器做的仅仅是分发操作. 状态同步下客户端仅仅是用来进行表现的, 逻辑运算是在服务器上的. 流量 状态同步的流量消耗要大过帧同步. 因为一个角色自身属性就有可能有上百条, 每次服务器都需要对这些数据进行同步, 并且对于一个操作, 也要分阶段分发状态, 以完成一次操作. 而帧同步只需要对操作进行上传和分发, 甚至可以可以进行状态压缩, 控制发送数据大小. 回放观战 对于帧同步, 只需要保存整局玩家的所有操作, 在客户端上重新运行即可.
99010发布于 2021-08-11 - 来自专栏NTP时间服务器
北斗时钟同步装置：赋能智慧水利实时数据的精准
北斗时钟同步装置：赋能智慧水利实时数据的精准下面我将详细解释北斗时钟同步装置如何为智慧水利赋能，实现数据的精准：核心逻辑：为什么“时间同步”如此关键？ 分发同步信号：通过标准的网络协议（如 NTP/SNTP、PTP）、脉冲信号（1PPS）、串口报文（如RTCM）等方式，将精准时间分发到水利专网内的所有需要授时的设备。如何赋能智慧水利并实现数据精准？ 支撑“精准监测与预警”水文同步观测：在洪水期间，流域内成百上千个雨量站、水文站的数据如果毫秒级同步，可以极大提高洪水预报模型的精度和预见期。 灌区自动化系统中，泵站、闸门的启停控制与水位、流量监测数据同步，实现精准用水。 它通过赋予每一比特数据以精准、统一的时间维度，将分散的、异构的数据流整合为具有严格因果和关联关系的“数据时空连续体”，从而真正释放数据的价值，支撑精准的分析、科学的决策和智能的控制，是智慧水利实现“可知
26210编辑于 2025-12-11 - 来自专栏网络时间同步
政务系统，GPS卫星同步时钟（NTP服务器）让数据更精准
政务系统，GPS卫星同步时钟（NTP服务器）让数据更精准 摘要：随着电子政务的不断发展，许多省份都建立了自己的政务网络，使用的网络设备和服务器日益增多，这些设备都有自己的时钟，是可以调节的，因此网络中的所有设备和主机的时间无法保证是同步的 TCP/IP协议中，用于网络同步时间的协议为NTP协议，它是由美国Delaware大学的教授设计实现的，使网络上的计算机保持时间同步的一种通信协议，其本身的传输基于UDP，保留端口号123，NTP协议可以估算出数据包在网络上往返延迟 ，并可以独立估算计算机时钟偏差，从而实现计算机间可靠和精准的时间同步，NTP是个动态、稳定和容错的协议，用来保证网络中所有设备的时钟精确度误差在1ms之内。 系统作用 经过一段时间运行，至今数据库中共有一般隐患数据记录24589条，其中已经整改24077条，整改率97.91%；重大隐患数据145条，其中已经整改144条，整改率99.3%，该系统为决策者提供了准确的安全隐患数据 ，安全排查的工作成果则集中体现在安全生产事故、火灾、交通事故的统计数据之上，据调查两月数据，全市各类事故发生率、伤亡人数、直接经济损失大幅下降，城市承载能力、应急处置能力、安全防控能力、防灾减灾能力也大幅度提高
1.1K20编辑于 2022-03-15 PTP 时钟：精准时钟同步的核心力量
在当今数字化时代，时钟同步对于众多领域的高效、稳定运行至关重要。无论是工业自动化生产线的协同运作，还是汽车电子系统中各个部件的精准配合，都离不开高精度的时钟同步技术。 以 SYN2407K 型为例，它可作为整个系统中的最高级时钟 GMC（Grandmaster Clock），其他设备提供精准的时间基准；也可作为从时钟，接收上级时钟的同步信号，确保自身与整个系统的时间一致性 IEEE802.1AS 协议是专门为时间敏感网络（TSN）设计的，旨在确保网络中数据传输的精确时间同步。 在工业自动化和汽车电子等对数据传输实时性要求极高的领域，SYN2407 系列模块借助该协议，能够实现设备之间微秒甚至纳秒级别的时间同步，极大地提升了系统的响应速度和运行精度。 车载雷达、摄像头、自动驾驶控制系统等多个电子部件之间需要精确的时间同步，以实现数据的准确融合和处理。
28710编辑于 2025-06-12- 来自专栏PTP时钟同步
科普：北斗卫星同步授时如何让网络精准合拍？
科普：北斗卫星同步授时如何让网络精准合拍？在计算机网络的世界里，没有“差不多”和“稍后”，只有精确到纳秒级的秩序。如果时间不准，整个数字社会就会瞬间崩溃。 数据库同步：电商大促时，订单数据被切分到全国成千上万台服务器上。如果服务器间时间差超过几毫秒，当你查看“我的订单”时，数据库就无法拼凑出正确的数据顺序，可能出现“付款成功但显示未付款”的乱象。 三个频段的信号组合起来，可以精准地消除电离层延时这一最大误差源，让接收机算出的时间更准。 它们观测到的数据量巨大，无法实时传输，只能各自记录在硬盘上。只有依靠北斗或GPS这种纳秒级精度的时间戳打在每一帧数据上，后期才能将这些分散的数据精准对齐，合成出一张黑洞的照片。 而北斗的存在，就像一位隐身的指挥家，让这场宏大的交响乐有了统一的节拍，精准、有序，且值得信赖。
19410编辑于 2026-03-25 - 来自专栏子母钟系统
北斗卫星时钟同步：赋能智慧医疗安全精准时刻
北斗卫星时钟同步：赋能智慧医疗安全精准时刻将北斗卫星时钟的高精度、高可靠性的时间同步技术，引入到复杂的智慧医疗系统中，确保整个系统在“同一时刻”精准运作。 数据同步与融合的基础：智慧医疗依赖多源数据（生命体征监测、医学影像、病历、基因数据等）。这些数据来自不同设备、不同科室、甚至不同医疗机构。 高精度时间同步是远程控制低延迟、音视频同步、操作指令精准触发的技术保障。 二、“卫星授时”注入智慧医疗的具体应用场景精准手术与介入治疗：机器人辅助手术：手术机器人的机械臂动作、内窥镜影像、生命监护仪数据、医生的操作指令，都需要在严格同步的时间轴上对齐，确保操作的精准性和安全性 同步的时钟确保给药方案的精确执行，并与监测数据形成闭环反馈。
15610编辑于 2026-02-09 便携式小型 1588 PTP 主时钟构建精准同步时代
一、引言：时间同步 —— 数字化时代的核心基建在工业 4.0、5G 通信、智能电网、金融交易等前沿领域，精准的时间同步已成为系统稳定运行的 “生命线”。 从生产线设备的微秒级协同控制，到通信基站的纳秒级时钟校准，再到数据中心服务器的精准日志记录，时间同步精度的不足可能导致系统误差累积、通信协议失效甚至安全事故。 四、典型应用场景：全行业时间同步专家1. 工业自动化与物联网在智能工厂中，多台机器人协同作业、传感器实时数据采集、AGV 小车路径规划均依赖精确的时间同步。 例如，在汽车总装线上，设备同步精度可达 100ns，确保机械臂装配动作与传送带速度精准匹配，提升生产线效率与良品率。2. SYN2402 通过 SNTP 协议为服务器集群提供同步时间，结合 1PPS 信号触发数据库事务记录，可将时间误差控制在 100ns 以内，满足监管合规要求。
36510编辑于 2025-05-26- 来自专栏云原生生态圈
MYSQL数据同步之基于GTID事务数据同步
MYSQL基于GTID数据同步方式 同步原理 客户端发送DDL/DML给master上，master首先对此事务生成一个唯一的gtid，假如为uuid_xxx:1，然后立即执行该事务中的操作。 同步实现方式 实现单slave通过gtid数据同步 本文通过Docker以及mysql5.7 镜像进行基于GTID数据复制的同步实践。 -0242ac110003:1-10 Executed_Gtid_Set: f0b1184d-f7d2-11ea-a7f5-0242ac110003:1-10 只有slave上具有了这部分基准数据，才能保证和master的数据一致性。 GTID从库数据同步 假如当前master的gtid为A3，已经purge掉的gtid为"1-->A1"，备份到slave上的数据为1-A2部分。
5.7K20发布于 2020-09-21 - 来自专栏网络时间同步
PTP主时钟（时间同步装置）打造网络系统精准体系
PTP主时钟（时间同步装置）打造网络系统精准体系PTP主时钟（时间同步装置）打造网络系统精准体系1、什么PTP主时钟1588v2？对于无线通信来说，时钟同步至关重要，是基站正常工作的必要条件。 1985年，以太网被IEEE（Institute of Electrical and Electronics Engineers，电气和电子工程师协会）标准化为802.3协议；十年之后的1995年，以太网的数据传输速率从 于是，IEEE便着手制定进行基于分组交换的精密时钟同步标准。2000年底，网络精密时钟同步委员会成立。 IEEE 1588独立于物理层，可通过在报文中加入时间标签来传递同步信息，因此除了频率同步之外还可以实现时间同步。 ③1588v2同步是否可以用于5G？理论上来说，1588v2可支持高精度的相位同步，基本能够满足5G的同步需求。
1.5K30编辑于 2023-05-12 - 来自专栏全栈程序员必看
mysql数据库同步工具_mysql同步工具_mysql数据库同步
QQ1793040 ———————————————————- 关于HKROnline SyncNavigator 注册机价格的问题 HKROnline SyncNavigator 8.4.1 企业版数据同步软件 自2009年第一个版本开发出来以来，经过8年不断地根据客户需求，加强功能，修复bug，现在已经具备强大的数据库同步功能，以前官方syncnavigator授权码的价格是2800元一套，授权码是绑定电脑硬件的 因为这款HKROnline SyncNavigator 软件是目前为止，国内做的最好的数据库同步软件，傻瓜式同步数据库，只需要你设置好来源数据库和目标数据库的账号和密码，一键开启，后台自动同步，断点续传 并且还支持异构数据库，也可以同步部分表或者部分字段，都可以进行更为精准的设置操作。 SyncNavigator 数据酷同步工具 做数据同步时所支持的数据库类型： 支持sqlserver 2000-2014所有版本，全兼容，和MYsql 4.x 、MYsql 5.x 、MYsql 6.x
29.9K20编辑于 2022-09-07 - 来自专栏大数据进阶
flinkx数据同步
本文会描述如下几部分的数据同步 mysql2mysql mysql2hive flinkx的版本1.12-SNAPSHOT 1.拉取代码 git clone https://github.com/DTStack speed": { "channel": 1, "bytes": 0 } } } } 这里会有些许错误： 1.hadoop相关的错误 ] 2021-11 org.apache.flink.runtime.resourcemanager.slotmanager.SlotManagerImpl [] - Starting the SlotManager. 2021-11 2021-11-09 14:57:37,113 INFO org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl [] - Interrupted 2021-11-09 14:57:37,115 ERROR org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl [] - Stopping
2.3K30发布于 2021-11-22 - 来自专栏全栈程序员必看
数据同步工具
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了 而且本来就是专门做ETL的，是Pentaho指定的ETL组件，对于数据清洗等处理数据的环节支持更好。但是数据效率一般，而且在生产环境也很少弄台windows机器，适合小项目，数据量比较小的同步。 实时同步 实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。 这里说个mysql数据库的同步组件，阿里的canal和otter canal https://github.com/alibaba/canal canal是基于mysql的binlog进行数据同步的中间件 非常适合mysql库之间的同步。 而且通过retl_buff表的监控，也可以实现一些全量数据的同步。 但是otter也有一些不好的地方，比如界面上的参数并不是所有的都有用，文档写的一般，不是很清晰。
3.5K20编辑于 2022-09-13 PCIe同步授时卡精准赋能工控系统、PCIE授时卡、PCIE同步卡、工控系统授时卡
然而，多设备间毫秒级的时间偏差可能导致生产线数据错乱、电力系统相位失步，甚至引发重大安全事故。传统的软件校时方案受限于操作系统延迟和网络波动，精度仅能维持在毫秒级，难以满足工业场景的严苛需求。 SYN4632型PCIe时钟同步卡从硬件架构到信号处理全面革新，直击上述痛点，为工控系统构建“全场景、高可靠、超精准”的时间同步解决方案。二、SYN4632时钟同步卡核心技术突破1. SYN4632搭载北斗双模模块，在隧道内无卫星信号时自动切换至PTP网络授时，确保列车调度指令的精准执行，将列车到站时间预测误差降低至0.1秒以内。 3、工业物联网数据协同汽车制造产线中，机器人、AGV与视觉检测系统的数据时间戳需严格对齐。 从微秒到纳秒，从单机到系统，西安同步电子以创新技术赋能中国智造，让每一台设备、每一条指令都在精准的时序中高效协同，开启工业4.0的“原子钟时代”。
41110编辑于 2025-09-22- 来自专栏GreatSQL出品技术文章
11. MGR技术架构及数据同步、认证机制 | 深入浅出MGR
11. MGR技术架构及数据同步、认证机制 | 深入浅出MGR 1. MGR架构 2. 事务数据同步、认证过程 2.1 事务处理合法性判断 2.2 事务消息中都包含哪些信息 2.3 事务认证流程几个关键点 2.4 事务认证数据库清理 3. 多数派原则 4. Server层调用MGR处理层，将事务信息通过Paxos层进行同步，用户线程等待。 MGR处理层处理Paxos同步后的消息，唤醒用户线程，返回到Server层。 事务数据同步、认证过程 用户发起事务请求，在MGR层的简化流程是下面这样的： 事务写binlog前先进入到MGR层。 将事务封装后通过Paxos一致性协议进行全局排序，发送给MGR各个节点。 只支持InnoDB表，其余表虽然也能创建，但无法同步数据（Primary节点上写入数据时会报错）。 必须要有主键，如果没有主键（或者可以被选中作为聚集索引的辅助索引），则写入数据时会报错。
82120编辑于 2022-05-23 - 来自专栏Y-StarryDreamer
『科普向』一文详解NTP协议：精准时间同步解析
云服务提供商通常管理庞大的数据中心，各个服务器和虚拟机之间的时间同步是保障云服务可用性和性能的基础。NTP在这种环境下的应用，不仅提供了时间的同步性，也为跨多个服务器和服务的协同工作创造了条件。 3.4 其他领域的应用案例 在科学实验和测量领域，高度准确的时间同步对于实验和测量的精度至关重要。例如，在物理学实验中，时间的精准记录可能涉及到对粒子运动、反应速率等关键参数的准确测量。 通过引入更高精度的时间戳格式，NTPv4可以提供更精准的时间测量，满足了当时对时间同步更高要求的需求。这对于那些对时间精度有严格要求的应用，如金融交易系统和科学实验，至关重要。 时间攻击的形式可以包括： 时钟漂移攻击： 攻击者试图修改设备的本地时钟，导致时间同步不准确，可能引发系统故障或数据不一致。 这对于数据交互、协同操作和整个系统的稳定性至关重要。时钟同步不仅关乎设备显示相同的时钟时间，更关乎各个设备对事件发生时间的一致认知。
3.6K10编辑于 2024-11-05 - 来自专栏GreatSQL出品技术文章
11. MGR技术架构及数据同步、认证机制 | 深入浅出MGR
事务数据同步、认证过程 2.1 事务处理合法性判断 2.2 事务消息中都包含哪些信息 2.3 事务认证流程几个关键点 2.4 事务认证数据库清理 3. 多数派原则 4. 小结 参考资料、文档 免责声明 加入团队 本文简单介绍下MGR的整体技术架构概况，事务同步过程，事务认证机制等关键知识点。 1. Server层调用MGR处理层，将事务信息通过Paxos层进行同步，用户线程等待。 MGR处理层处理Paxos同步后的消息，唤醒用户线程，返回到Server层。 事务数据同步、认证过程 用户发起事务请求，在MGR层的简化流程是下面这样的： 事务写binlog前先进入到MGR层。 将事务封装后通过Paxos一致性协议进行全局排序，发送给MGR各个节点。 只支持InnoDB表，其余表虽然也能创建，但无法同步数据（Primary节点上写入数据时会报错）。 必须要有主键，如果没有主键（或者可以被选中作为聚集索引的辅助索引），则写入数据时会报错。
1.8K20编辑于 2023-02-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号