- 综合排序
- 最热优先
- 最新优先
- 来自专栏ops技术分享
Redis集群到集群迁移
一.物理导入 简介 redis集群在存储数据时，是根据槽点进行存储。例如老集群A如下： 都在一台机器，实际可以在多台机器上。 实际操作 老集群：1.1.1.1 主节点：7000（0-5460） 7001（5461-10922） 7002（10923-16383） 从节点：7003 7004 7005 新集群：1.1.1.2 主节点 ：6000（0-3000） 6001（3001-5460） 6002（5461-10922） 6003（10923-16383） 从节点：6004 6005 6006 6007 可以发现新集群的节点多了一个 将老集群的7000节点的appendonly.aof用pipe方法导入到6000节点上。再将同文件导入到6001节点上。
1.4K20发布于 2021-05-21 - 来自专栏程序员同行者
etcd集群数据迁移至新集群
r etcdv2.zip /opt/etcdv2 传送至新节点： scp etcdv2.zip root@xxxx:/opt # scp至新机器（一台机器即可,这里传到了new-01节点上） 新集群恢复 unzip /opt/etcdv2 && mv /opt/etcdv2/member /var/lib/etcd/infra1.etcd/ 2.启动新节点(new-01节点) 因为备份的数据中，存在旧服务的集群信息 ，因为我们进行了迁移，需要将原本的集群信息覆盖掉(不影响用户数据)，启动参数中添加配置--force-new-cluster，等服务成功启动后，旧集群信息已被覆盖，然后去掉此配置，重启服务即可 注：节点配置中 3.修正当前节点的peerURLs 在迁移过程中，出现了当前节点的peerURLs错误的问题，需要修正下 查看节点信息： [root@prod-k8s-01 ~]# etcdctl member list prod-k8s-01 ~]# etcdctl member update 76926a56d901 http://10.94.19.179:2380 # 更改节点peerurls 至此，我们已经成功在新集群恢复了旧集群的数据
4.2K11发布于 2020-12-29 - 来自专栏程序员奇点
RabbitMQ 集群数据迁移
RabbitMQ 集群数据迁移，完成集群A 到集群B 的数据迁移。 RabbitMQ 官网有这么一段话： ? 因此集群消息迁移的思路，是备份这些文件夹。 然后还有一段话 ? 大致意思是在恢复数据前，要先恢复元数据。 测试过程： 集群A： ? 集群A 队列消息: ? 集群B： ? 没有任何消息，队列。 数据恢复如下： 1.导出集群A 的元数据。rabbit_n1_2020-3-30.json ? 2. 将集群A的元数据导入到集群B ? ? 3. 停掉集群B ，将 集群A 的 n1 n2 n3 的文件，分别拷贝到 集群B 的 n1 n2 n3 文件mnesia 目录下。 5. 这样就完成了RabbitMQ集群数据迁移。
4K20发布于 2020-04-07 - 来自专栏腾讯云容器专家服务的专栏
腾讯云TKE集群迁移之velero: 使用velero-plugin-for-tencent插件
背景 velero 是备份和还原kubernetes集群资源的和持久卷的工具, 主要提供了以下功能: 备份还原集群 不同集群间进行迁移 集群复制 tke官方文档中以及有了velero的最佳实践(https ://cloud.tencent.com/document/product/457/50122)，本篇文章是在原官方文档中内的补充，针对velero-plugin-for-tencent 插件的使用. cos正常:velero backup-location get [image.png] 备份 测试场景从A集群迁移到B集群 备份A集群 velero backup create cluster-a - kubeconfig文件避免部署到原来的集群中(--kubeconfig 参数) 迁移命令: velero restore create cluster-b --from-backup cluster-a logs <BACKUP-NAME> | grep skip 验证 使用一下命令查看迁移过后的集群应用信息： kubectl get po --all-namespace 如果部分有问题，需要进步排查
2K51发布于 2020-12-25 - 来自专栏运维
Elasticsearch集群数据迁移
5.0版本 微软云elasticsearch集群5.6版本 需求 需要把阿里云elasticsearch集群新老数据迁移到微软云elasticsearch集群 解决 新数据比较好弄数据源输出到新的微软云 kafka集群然后微软云logstash消费新数据到新elasticsearch集群即可，关于老数据迁移比较麻烦，但官网也给了成熟的解决方案既是快照备份与还原，下面实施过程既是对实施过程的记录 实施 阿里云 elasticsearch集群操作 一，先关闭数据平衡，注意一个一个的来，关一个节点的进程none,all循环一次，否则最后集群切片变动，恢复时间很长 1、修改elasticsearch.yml配置，添加如下 注意索引数量多但是数据量不大时可以统配多一些index，保证每次迁移的数据量不至于太大，比如每次100G以内，防止网络等其他原因导致传输中断等 [root@elk-es01 ~]# curl -XPUT 在微软云elasticsearch集群上操作 四、迁移数据到微软云elasticsearch集群 1、挂载nfs服务端 yum -y install nfs-utils mkdir -p /storage
2.3K10发布于 2018-11-14 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群数据迁移之离线迁移
跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群，如果要迁移至腾讯云ES，用户可以根据自己的业务需要选择适合自己的迁移方案。 如果业务可以停服或者可以暂停写操作，可以参考离线迁移的四种方案。 离线迁移 离线迁移需要先停止老集群的写操作，将数据迁移完毕后在新集群上进行读写操作。适合于业务可以停服的场景。 fs: 共享文件系统，将快照文件存放于文件系统中 url: 指定文件系统的URL路径，支持协议：http,https,ftp,file,jar s3: AWS S3对象存储,快照存放于S3中，以插件形式支持 hdfs: 快照存放于hdfs中，以插件形式支持 cos: 快照存放于腾讯云COS对象存储中，以插件形式支持 如果需要从自建ES集群迁移至腾讯云的ES集群，可以直接使用fs类型仓库，注意需要在 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移，而需要跨云厂商的迁移，比如从阿里云ES集群迁移至腾讯云ES集群，可以选择使用
26.6K105发布于 2018-06-08 - 来自专栏Elasticsearch实验室
Elasticsearch跨集群数据迁移之在线迁移
一、 背景 在云上PaaS服务愈发成熟的大背景下，越来越多自建Elasticsearch的业务希望迁移到云上，享用云服务统一、高标准的服务体验的同时，降低运维成本。 本方案旨在通过集群融合的方式帮助用户进行在线迁移，尽量降低迁移过程对业务的影响，同时尽可能提高迁移的自动化程度。 二、整体思路 假定用户原有集群为A，迁移后新集群为B。 首先通过扩容的方式把集群B融合进集群A；然后通过ES的自动搬迁能力，把所有集群A的数据迁移到集群B；最后用户下线集群A即可。 四、 集群融合步骤 首先假设迁移过程中涉及的集群信息如下： 用户集群 ：用户原有自建的集群，假定cluster_name为 es_A。 新建集群 ： 云上新建的集群，假定cluster_name为 es_B。 具体迁移操作步骤如下： 1、融合前，对 新建集群 需要确认没有打开权限，如果有打开，需要关闭。
3.2K31发布于 2019-11-28 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群数据迁移之在线迁移
一、 背景 在云上PaaS服务愈发成熟的大背景下，越来越多自建Elasticsearch的业务希望迁移到云上，享用云服务统一、高标准的服务体验的同时，降低运维成本。 本方案旨在通过集群融合的方式帮助用户进行在线迁移，尽量降低迁移过程对业务的影响，同时尽可能提高迁移的自动化程度。 二、整体思路 假定用户原有集群为A，迁移后新集群为B。 首先通过扩容的方式把集群B融合进集群A；然后通过ES的自动搬迁能力，把所有集群A的数据迁移到集群B；最后用户下线集群A即可。 四、 集群融合步骤 首先假设迁移过程中涉及的集群信息如下： 用户集群 ：用户原有自建的集群，假定cluster_name为 es_A。 新建集群 ： 云上新建的集群，假定cluster_name为 es_B。 具体迁移操作步骤如下： 1、融合前，对 新建集群 需要确认没有打开权限，如果有打开，需要关闭。
3.4K21发布于 2019-11-28 - 来自专栏腾讯技术工程官方号的专栏
Ceph 集群整体迁移方案
场景介绍：在我们的IDC中，存在着运行了3-6年的Ceph集群的服务器，这些服务器性能和容量等都已经无法满足当前业务的需求，在购入一批高性能机器后，希望将旧机器上的集群整体迁移到新机器上，当然，是保证业务不中断的前提下 glance,neutron mon，osd*1 com 192.168.100.111 nova,neutron mon，osd*1 ceph 192.168.100.112 mon，osd*1 在集群整体迁移完后 ，各个组件分布如下，也就是说，将运行于 con,com,ceph三个节点的 Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。 迁移思路 我们首先会将新的节点的所有OSD初始化完毕，然后将这些OSD 加入到另一棵osd tree下 (这里简称原先的集群的osd tree叫做old_tree，新建的包含新OSD的 osd tree 叫做 new_tree)，这样部署完毕后，不会对原有集群有任何影响，也不会涉及到数据迁移的问题，此时新的OSD下还没有保存数据。
3K120发布于 2018-04-23 - 来自专栏Reinvent Data Science
Milvus跨集群数据迁移
注意：此方案为非实时同步方案，但借助 MinIO 客户端的数据同步功能，应该也是可以做到实时同步迁移。 容器，修改 configs/backup.yaml 配置 备份集群数据到本地存储中 将数据拷贝到新集群中进行恢复 01. 制作 milvus-backup 镜像 注意：如果是在两个单机版的 milvus 之间迁移数据，是不需要 milvus-backup 镜像的，又或者，如果 k8s 集群部署了 milvus, minio 注意一下，由于需要在两个集群间迁移，因此创建工作负载的时候挂载一个共享存储（/backup），方便迁移 MinIO 备份后的数据。 03. 恢复数据到新的集群中 进入新的集群（B）执行步骤 2和步骤 3，在步骤 3 中将 backup.yaml 中的配置修改成集群 B 的链接信息。
1.1K10编辑于 2024-06-14 - 来自专栏腾讯云TStack专栏
Ceph 集群整体迁移方案
场景介绍：在我们的IDC中，存在着运行了3-6年的Ceph集群的服务器，这些服务器性能和容量等都已经无法满足当前业务的需求，在购入一批高性能机器后，希望将旧机器上的集群整体迁移到新机器上，当然，是保证业务不中断的前提下 glance,neutron mon，osd*1 com 192.168.100.111 nova,neutron mon，osd*1 ceph 192.168.100.112 mon，osd*1 在集群整体迁移完后 ，各个组件分布如下，也就是说，将运行于 con,com,ceph三个节点的 Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。 迁移思路 我们首先会将新的节点的所有OSD初始化完毕，然后将这些OSD 加入到另一棵osd tree下 (这里简称原先的集群的osd tree叫做old_tree，新建的包含新OSD的 osd tree 叫做 new_tree)，这样部署完毕后，不会对原有集群有任何影响，也不会涉及到数据迁移的问题，此时新的OSD下还没有保存数据。
4.5K50发布于 2018-04-02 - 来自专栏XBD
pulsar + zookeeper（迁移zookeeper集群）
zookeeper服务 由于现在leader节点还在旧集群上，登录leader节点，动态添加新集群三个节点 . ，leader 在旧集群的第三个节点上，新集群三个节点都是follower 第二次重启 leader节点，zookeeper 会重新选举 leader，新集群会被选举为 leader 节点 . /zkServer.sh restart 然后登录新集群的 leader 节点，动态移除旧集群的最后一个节点 ./zkCli.sh reconfig -remove 3 停止旧集群最后一个节点服务 . 0.0.0.0:2181 server.6=172.16.20.250:2888:3888:participant;0.0.0.0:2181 version=300000003 至此，zookeeper 集群迁移完毕 pulsar迁移zookeeper时，zookeeper中的元数据保存的还是以前pulsar初始化时的老的zookeeper地址，否则会报无法连到zookeeper .
48510编辑于 2024-08-07 - 来自专栏房东的猫
Elasticsearch跨集群数据迁移
简介 根据业务需求，存在以下场景： 迁移过程中，旧的集群可以暂时停止服务或者暂停写入，数据全部迁移到新的集群中后，业务切换到新的集群进行读取和写入 迁移过程中，旧集群不能停止写入，业务不能停服 如果是第一种场景 离线迁移需要先停止老集群的写操作，将数据迁移完毕后在新集群上进行读写操作。适合于业务可以停服的场景。 hdfs: 快照存放于hdfs中，以插件形式支持 cos: 快照存放于腾讯云COS对象存储中，以插件形式支持 如果需要从自建ES集群迁移至腾讯云的ES集群，可以直接使用fs类型仓库，注意需要在Elasticsearch add & update & delete 如果业务写入ES时既有新增(add)数据,又有更新(update)和删除(delete)数据，可以采用6.5之后商业版X-pack插件中的CCR功能进行数据迁移 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移，而需要跨云厂商的迁移，比如从阿里云ES集群迁移至腾讯云ES集群，可以选择使用
2.1K32发布于 2021-01-20 - 来自专栏ops技术分享
Redis单点到集群迁移
192.168.1.185的6379 目标 192.168.1.91的7001,7002 192.168.1.92的7003,7004 192.168.1.94的7005,7006 2.准备存储文件 在集群任意节点上查看节点信息 image.png 在192.168.1.185上查询当前key数量并保存，将dump.rdb和appendonly.aof文件发送到192.168.1.91上 image.png 3.数据恢复到集群 切换到192.168.1.91上查看集群状态 redis-trib.rb check 192.168.1.91:7001 image.png 从刚才的集群状态得知 192.168.1.91:7001
2.3K30发布于 2021-05-21 - 来自专栏ops技术分享
Jenkins Job迁移--插件导入
在工作中可能会遇到这样的场景，即需要把一个Jenkins Master上的job迁移到另外一台Jenkins Master上，那怎么做比较好呢？ 那我们现在来介绍下这种配置项较多、job比较多的情况下怎么来迁移这些job。 现在我搭建了两台Jenkins来进行说明。 Job Import Plugin导入 现在先介绍第一种方式，通过Job Import Plugin方式来进行job的迁移，这种方式比较方便，首先到新的Jenkins上，也就是192.168.9.8上， 在192.168.9.8上插件管理里先安装下Job Import Plugin，如下所示： 安装完后进入“Manage Jenkins” -> “Configure System”下，找到Job Import Jenkins上的插件新Jenkins上未必有，因此可以根据实际情况勾选是否需要安装必要的插件，如上面的截图所示，需不需要覆盖已有的job也根据实际情况勾选下。
2.5K20发布于 2021-06-01 - 来自专栏算法之名
Nginx集群的故障迁移 顶
首先可以肯定的是Nginx在一个tomcat节点完全宕机的情况下，是不会再去把请求分发过去的。
56830发布于 2019-08-20 - 来自专栏开源部署
RabbitMQ集群跨网段消息迁移
需求背景 将阿里云同一个VPC下的RabbitMQ集群的消息从一个网段集群迁移到另一个网段集群。消息中间件的消息是即时消费，为何还有历史消息，因为是历史遗留问题。 故要迁移 整个网络拓扑图如下 注意： 若对于跨VPC网络 1. 确保各主机网络互通 2. 迁移步骤 1. 方案2【可行】 若RabbitMQ采用镜像队列，将集群A中的消息数据迁移到集群B中， 集群A中的node171、node172采用镜像队列 构建集群A的镜像队列环境 1.首先集群A中的node172加入集群中 开始集群A中的镜像队列迁移 1.停止所有消息的生产者和消费者相关应用服务 2．停止集群A中的所有机器，并备份原始数据 【node171、node172】都要操作 Node172执行如下： [root@
1.8K10编辑于 2022-07-27 - 来自专栏stream process
kafka集群扩容以及数据迁移
一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。 二 集群扩容后数据是不会自动均衡到新机器上的，需要采用kafka-reassign-partitions.sh这个工具脚本。 脚本可以工作在三种模式--generate，--execute，--verify 分别用来生成topic迁移计划文件，执行迁徙计划，查看迁移进度，官方文档写的很明白了，不足的地方是每一步都需要手工执行比较麻烦和容易出错
1.2K10发布于 2020-03-04 - 来自专栏devops_k8s
Redis主从,集群部署及迁移
工作中有时会遇到需要把原Redis集群下线，迁移到另一个新的Redis集群的需求（如机房迁移,Redis上云等原因)。此时原Redis中的数据需要如何操作才可顺利迁移到一个新的Redis集群呢？ 本节简单介绍相关方法及一些工具; redis有主从架构及redis-cluster架构，架构不同，两者的迁移方法也是不相同的; Redis主从迁移 若原来的redis集群为主从结构，则迁移工作是相当简单方便的 image.png Redis-Cluster迁移 方法一: 集群节点增删实现 方法1: 集群节点增删实现 把Redis新节点逐台加入当前集群，变成一个大的Redis集群。 若场景是希望原Redis集群暂时保留，即如下图，同时有两个独立的集群，则就无法使用迁移方法1。 如果目的端是集群模式，可以写入到一个结点，然后再进行slot的迁移，当然也可以多对多写入。 环境准备 本文进行Redis集群迁移测试,为了节约机器，目标集群复用了源Redis机器，只是修改了端口。
3.3K30发布于 2021-07-07 - 来自专栏大数据技术博文
Kylin云端跨集群迁移实践
02 — 迁移前准备 在目标集群中创建好hadoop大数据环境(hive/hbase/hadoop) 在目前集群中安装部署好kylin环境,确保kylin可以正常启动并build cube任务 双方网络互通 ,大数据拉取数据端口开放,可以正常拉取到源集群中的hdfs文件 目前集群的kylin版本与源集群版本保持一致 确保在目标集群中hive表已经构建且数据已经迁移完成 提前准备好数据迁移的脚本,hdfs数据迁移 Kylin元数据迁移的方案制定 一、方案一 通过元数据备份/还原的方式实现两个集群的元数据同步 二、方案二 通过kylin自己的工具将cube导出然后在另外集群导入方式进行元数据同步 三、方案三 将kylin 在hbase上存储的metadata表数据迁移,实现元数据同步 Kylin cube预计算数据迁移方案: 通过hbase的snapshot方式在另外一个集群恢复实现 04 — 迁移前的前置依赖 在进行 问题六: 在使用hdfs倒过来的目录和文件的用户权限依旧是源集群中的用户权限.会导致kylin 在step1的时候build异常 解决方法: 在源集群中迁移过来的目录和文件,需要在目标集群中修改用户以及用户的权限
1.2K30编辑于 2022-04-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号