- 综合排序
- 最热优先
- 最新优先
- 来自专栏ops技术分享
Redis集群到集群迁移
一.物理导入 简介 redis集群在存储数据时，是根据槽点进行存储。例如老集群A如下： 都在一台机器，实际可以在多台机器上。 实际操作 老集群：1.1.1.1 主节点：7000（0-5460） 7001（5461-10922） 7002（10923-16383） 从节点：7003 7004 7005 新集群：1.1.1.2 主节点 ：6000（0-3000） 6001（3001-5460） 6002（5461-10922） 6003（10923-16383） 从节点：6004 6005 6006 6007 可以发现新集群的节点多了一个 将老集群的7000节点的appendonly.aof用pipe方法导入到6000节点上。再将同文件导入到6001节点上。
1.6K20发布于 2021-05-21 - 来自专栏漫漫架构路
ElasticSearch学习笔记(2)——插件安装和集群搭建
实用插件Head安装 Elasticsearch Head是一款可视化的操作ElasticSearch的工具，可以替代ES原生的Restful API，更加方便地操作ES。 此外，Elasticsearch Head还具有主简化集群管理、数据可视化、管理节点状态等功能。 1. https://github.com/mobz/elasticsearch-head.git git clone https://github.com/mobz/elasticsearch-head.git 2. 分布式安装 以一主二从为例，搭建ES集群 1. Cluster Master Config cluster.name: es_master node.name: master node.master: true network.host: 127.0.0.1 2.
49820发布于 2020-09-03 - 来自专栏腾讯云容器专家服务的专栏
腾讯云TKE集群迁移之velero: 使用velero-plugin-for-tencent插件
背景 velero 是备份和还原kubernetes集群资源的和持久卷的工具, 主要提供了以下功能: 备份还原集群 不同集群间进行迁移 集群复制 tke官方文档中以及有了velero的最佳实践(https ://cloud.tencent.com/document/product/457/50122)，本篇文章是在原官方文档中内的补充，针对velero-plugin-for-tencent 插件的使用. cos正常:velero backup-location get [image.png] 备份 测试场景从A集群迁移到B集群 备份A集群 velero backup create cluster-a - kubeconfig文件避免部署到原来的集群中(--kubeconfig 参数) 迁移命令: velero restore create cluster-b --from-backup cluster-a logs <BACKUP-NAME> | grep skip 验证 使用一下命令查看迁移过后的集群应用信息： kubectl get po --all-namespace 如果部分有问题，需要进步排查
2.2K51发布于 2020-12-25 - 来自专栏程序员同行者
etcd集群数据迁移至新集群
etcdv2.zip /opt/etcdv2 传送至新节点： scp etcdv2.zip root@xxxx:/opt # scp至新机器（一台机器即可,这里传到了new-01节点上） 新集群恢复 -01节点) 因为备份的数据中，存在旧服务的集群信息，因为我们进行了迁移，需要将原本的集群信息覆盖掉(不影响用户数据)，启动参数中添加配置--force-new-cluster，等服务成功启动后，旧集群信息已被覆盖 3.修正当前节点的peerURLs 在迁移过程中，出现了当前节点的peerURLs错误的问题，需要修正下 查看节点信息： [root@prod-k8s-01 ~]# etcdctl member list prod-k8s-01 ~]# etcdctl member update 76926a56d901 http://10.94.19.179:2380 # 更改节点peerurls 至此，我们已经成功在新集群恢复了旧集群的数据 查看新集群状态 [root@prod-k8s-01 ~]# etcdctl cluster-health member 76926a56d901 is healthy: got healthy result
4.4K11发布于 2020-12-29 - 来自专栏程序员奇点
RabbitMQ 集群数据迁移
RabbitMQ 集群数据迁移，完成集群A 到集群B 的数据迁移。 RabbitMQ 官网有这么一段话： ? 因此集群消息迁移的思路，是备份这些文件夹。 然后还有一段话 ? 大致意思是在恢复数据前，要先恢复元数据。 测试过程： 集群A： ? 集群A 队列消息: ? 集群B： ? 没有任何消息，队列。 数据恢复如下： 1.导出集群A 的元数据。rabbit_n1_2020-3-30.json ? 2. 将集群A的元数据导入到集群B ? ? 3. 停掉集群B ，将 集群A 的 n1 n2 n3 的文件，分别拷贝到 集群B 的 n1 n2 n3 文件mnesia 目录下。 5. 这样就完成了RabbitMQ集群数据迁移。
4.1K20发布于 2020-04-07 - 来自专栏运维
Elasticsearch集群数据迁移
5.0版本 微软云elasticsearch集群5.6版本 需求 需要把阿里云elasticsearch集群新老数据迁移到微软云elasticsearch集群 解决 新数据比较好弄数据源输出到新的微软云 kafka集群然后微软云logstash消费新数据到新elasticsearch集群即可，关于老数据迁移比较麻烦，但官网也给了成熟的解决方案既是快照备份与还原，下面实施过程既是对实施过程的记录 实施 阿里云 elasticsearch集群操作 一，先关闭数据平衡，注意一个一个的来，关一个节点的进程none,all循环一次，否则最后集群切片变动，恢复时间很长 1、修改elasticsearch.yml配置，添加如下 3、4操作在剩下几个节点，最好通过/_cat/health查看集群恢复100%后操作下一次，如果不关闭allocation重启elasticsearch集群恢复时间很长会从0%开始，关闭后从节点数减一除以总节点数比例开始恢复会块很多 在微软云elasticsearch集群上操作 四、迁移数据到微软云elasticsearch集群 1、挂载nfs服务端 yum -y install nfs-utils mkdir -p /storage
2.4K10发布于 2018-11-14 - 来自专栏架构驿站
分布式数据库Couchbase 集群迁移-2
在之前的文章中，我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案，具体可参考链接：分布式数据库Couchbase 集群迁移 其实，在基于不同的业务场景以及架构方案，针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略，只有能够达到高效、稳定及安全，才是最优选择。 基本思路： 1、备份老的 Couchbase 服务数据 2、将新 Couchbase 服务器加入到老服务器集群中，并通过 Rebalance 同步两台服务器 Cache 数据 3、修改客户端 Couchbase 配置节点 4、Failover 老服务器进行升级 本文主要基于 CBTRANSFER 操作方案以实现 Couchbase 集群迁移。 01-03 14:55:18,110: mt Starting new HTTP connection (1): 10.10.10.10 done 至此，一个简单的关于 Couchbase 集群迁移操作轻松搞定
96340编辑于 2021-12-09 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群数据迁移之离线迁移
跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群，如果要迁移至腾讯云ES，用户可以根据自己的业务需要选择适合自己的迁移方案。 如果业务可以停服或者可以暂停写操作，可以参考离线迁移的四种方案。 离线迁移 离线迁移需要先停止老集群的写操作，将数据迁移完毕后在新集群上进行读写操作。适合于业务可以停服的场景。 hdfs: 快照存放于hdfs中，以插件形式支持 cos: 快照存放于腾讯云COS对象存储中，以插件形式支持 如果需要从自建ES集群迁移至腾讯云的ES集群，可以直接使用fs类型仓库，注意需要在 配置reindex.remote.whitelist参数 需要在目标ES集群中配置该参数，指明能够reindex的远程集群的白名单 2 . 调用reindex api 以下操作表示从源ES集群中查询名为test1的索引，查询条件为title字段为elasticsearch，将结果写入当前集群的test2索引 POST _reindex
27.2K105发布于 2018-06-08 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群数据迁移之在线迁移
本方案旨在通过集群融合的方式帮助用户进行在线迁移，尽量降低迁移过程对业务的影响，同时尽可能提高迁移的自动化程度。 二、整体思路 假定用户原有集群为A，迁移后新集群为B。 首先通过扩容的方式把集群B融合进集群A；然后通过ES的自动搬迁能力，把所有集群A的数据迁移到集群B；最后用户下线集群A即可。 四、 集群融合步骤 首先假设迁移过程中涉及的集群信息如下： 用户集群 ：用户原有自建的集群，假定cluster_name为 es_A。 2、调用 cluster update 接口对 新建集群 进行集群升级，升级到 60403.20190426.eb1002e8，并更改集群名字。 _name" : "{用户节点名1, 用户节点名2...}" } }' 6、数据搬迁完成后，剔除 用户集群 的节点，下线用户集群。
3.7K21发布于 2019-11-28 - 来自专栏Elasticsearch实验室
Elasticsearch跨集群数据迁移之在线迁移
本方案旨在通过集群融合的方式帮助用户进行在线迁移，尽量降低迁移过程对业务的影响，同时尽可能提高迁移的自动化程度。 二、整体思路 假定用户原有集群为A，迁移后新集群为B。 首先通过扩容的方式把集群B融合进集群A；然后通过ES的自动搬迁能力，把所有集群A的数据迁移到集群B；最后用户下线集群A即可。 四、 集群融合步骤 首先假设迁移过程中涉及的集群信息如下： 用户集群 ：用户原有自建的集群，假定cluster_name为 es_A。 2、调用 cluster update 接口对 新建集群 进行集群升级，升级到 60403.20190426.eb1002e8，并更改集群名字。 _name" : "{用户节点名1, 用户节点名2...}" } }' 6、数据搬迁完成后，剔除 用户集群 的节点，下线用户集群。
3.4K41发布于 2019-11-28 - 来自专栏腾讯云TStack专栏
Ceph 集群整体迁移方案
场景介绍：在我们的IDC中，存在着运行了3-6年的Ceph集群的服务器，这些服务器性能和容量等都已经无法满足当前业务的需求，在购入一批高性能机器后，希望将旧机器上的集群整体迁移到新机器上，当然，是保证业务不中断的前提下 ，各个组件分布如下，也就是说，将运行于 con,com,ceph三个节点的 Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。 new_mon_3:sdb1 添加完这三个OSD后，集群总共有六个OSD，此时不会有数据迁移。 集群性能降低：总体来说，在副本从2克隆为4这段时间(约2-3天，取决于集群数据量）内，集群的实际IO表现降低到变更前的 25%->80% 左右，时间越往后表现越接近变更前，这虽然不会导致客户端的IO阻塞 而用了我们的方法来复制数据的话，不会存在这个问题，因为这里的方法在最后一步将池的副本设置为2之前，旧节点上的数据始终都是在的，并且不会发生任何迁移，我们可以在任意意外情况下，通过几条指令将集群恢复到变更之前的状态
4.7K50发布于 2018-04-02 - 来自专栏腾讯技术工程官方号的专栏
Ceph 集群整体迁移方案
场景介绍：在我们的IDC中，存在着运行了3-6年的Ceph集群的服务器，这些服务器性能和容量等都已经无法满足当前业务的需求，在购入一批高性能机器后，希望将旧机器上的集群整体迁移到新机器上，当然，是保证业务不中断的前提下 ，各个组件分布如下，也就是说，将运行于 con,com,ceph三个节点的 Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。 new_mon_3:sdb1 添加完这三个OSD后，集群总共有六个OSD，此时不会有数据迁移。 集群性能降低：总体来说，在副本从2克隆为4这段时间(约2-3天，取决于集群数据量）内，集群的实际IO表现降低到变更前的 25%->80% 左右，时间越往后表现越接近变更前，这虽然不会导致客户端的IO阻塞 而用了我们的方法来复制数据的话，不会存在这个问题，因为这里的方法在最后一步将池的副本设置为2之前，旧节点上的数据始终都是在的，并且不会发生任何迁移，我们可以在任意意外情况下，通过几条指令将集群恢复到变更之前的状态
3.2K120发布于 2018-04-23 - 来自专栏Reinvent Data Science
Milvus跨集群数据迁移
注意：此方案为非实时同步方案，但借助 MinIO 客户端的数据同步功能，应该也是可以做到实时同步迁移。 制作 milvus-backup 镜像 注意：如果是在两个单机版的 milvus 之间迁移数据，是不需要 milvus-backup 镜像的，又或者，如果 k8s 集群部署了 milvus, minio 注意一下，由于需要在两个集群间迁移，因此创建工作负载的时候挂载一个共享存储（/backup），方便迁移 MinIO 备份后的数据。 03. 这 2 个是备份文件存放的目录，后续我们需要使用 MinIO 客户端将文件拷贝到本地存储中。 恢复数据到新的集群中 进入新的集群（B）执行步骤 2和步骤 3，在步骤 3 中将 backup.yaml 中的配置修改成集群 B 的链接信息。
1.6K10编辑于 2024-06-14 - 来自专栏XBD
pulsar + zookeeper（迁移zookeeper集群）
节点，先动态移除旧集群节点的2个 follower 节点 . /zkCli.sh reconfig -remove 1 reconfig -remove 2 手动停止 2个 follower 节点的服务 . # 由2个 follower 节点 zk_synced_followers 2 # 已同步的 follower 节点数 zk_pending_syncs 0 zk_last_proposal_size 0.0.0.0:2181 server.6=172.16.20.250:2888:3888:participant;0.0.0.0:2181 version=300000003 至此，zookeeper 集群迁移完毕 pulsar迁移zookeeper时，zookeeper中的元数据保存的还是以前pulsar初始化时的老的zookeeper地址，否则会报无法连到zookeeper .
64710编辑于 2024-08-07 - 来自专栏房东的猫
Elasticsearch跨集群数据迁移
简介 根据业务需求，存在以下场景： 迁移过程中，旧的集群可以暂时停止服务或者暂停写入，数据全部迁移到新的集群中后，业务切换到新的集群进行读取和写入 迁移过程中，旧集群不能停止写入，业务不能停服 如果是第一种场景 的索引，查询条件为title字段为elasticsearch，将结果写入当前集群的test2索引 POST _reindex { "source": { "remote": { hdfs: 快照存放于hdfs中，以插件形式支持 cos: 快照存放于腾讯云COS对象存储中，以插件形式支持 如果需要从自建ES集群迁移至腾讯云的ES集群，可以直接使用fs类型仓库，注意需要在Elasticsearch add & update & delete 如果业务写入ES时既有新增(add)数据,又有更新(update)和删除(delete)数据，可以采用6.5之后商业版X-pack插件中的CCR功能进行数据迁移 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移，而需要跨云厂商的迁移，比如从阿里云ES集群迁移至腾讯云ES集群，可以选择使用
2.4K32发布于 2021-01-20 - 来自专栏ops技术分享
Jenkins Job迁移--插件导入
在工作中可能会遇到这样的场景，即需要把一个Jenkins Master上的job迁移到另外一台Jenkins Master上，那怎么做比较好呢？ 那我们现在来介绍下这种配置项较多、job比较多的情况下怎么来迁移这些job。 现在我搭建了两台Jenkins来进行说明。 Job Import Plugin导入 现在先介绍第一种方式，通过Job Import Plugin方式来进行job的迁移，这种方式比较方便，首先到新的Jenkins上，也就是192.168.9.8上， 在192.168.9.8上插件管理里先安装下Job Import Plugin，如下所示： 安装完后进入“Manage Jenkins” -> “Configure System”下，找到Job Import Jenkins上的插件新Jenkins上未必有，因此可以根据实际情况勾选是否需要安装必要的插件，如上面的截图所示，需不需要覆盖已有的job也根据实际情况勾选下。
2.7K20发布于 2021-06-01 - 来自专栏ops技术分享
Redis单点到集群迁移
准备存储文件 在集群任意节点上查看节点信息，发现当前192.168.1.91的7001端口是master image.png 在192.168.1.185上查询当前key数量并保存，将dump.rdb 和appendonly.aof文件发送到192.168.1.91上 image.png 3.数据恢复到集群 切换到192.168.1.91上查看集群状态 redis-trib.rb check 192.168.1.91 :7001 image.png 从刚才的集群状态得知 192.168.1.91:7001 的runid为 f2ebf72a78f2637eead82c219f2fca737a36a371 ，其有 5461 个slots 将92的slots移动到91上 redis-trib.rb reshard --from 19bc53185ae3e103cf4e9ce15772d88f4900256a --to f2ebf72a78f2637eead82c219f2fca737a36a371 --to f2ebf72a78f2637eead82c219f2fca737a36a371 --slots 5462 --yes 192.168.1.91:7001 查看slots是否全部在91上 redis-trib.rb
2.7K30发布于 2021-05-21 - 来自专栏方丈的寺院
数据迁移(2) - 如何快速迁移
摘要 在上一篇中我们介绍了数据迁移的套路，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 迁移qps可控 迁移有可能对线上服务有影响，需要可动态调整qps 数据完整， 不丢失 不能遗漏数据，虽然事后我们有数据校验的过程，但是设计数据迁移方案时，需要尽可能的包装数据不丢失。 进度可控 迁移过程可中断，可重试。比如先迁移10分之一的数据，再继续来 二. 架构设计 数据迁移任务大致分为3个步骤，如下图所示 ? 可以可以将成功遍历完， 写入到任务队列的数据记录到某个存储，比如redis中，这样可以保证游标中断，或者服务重启后，可以从这个key中继续遍历，这样就实现了迁移的可中断 2.
4.9K10发布于 2020-05-20 - 来自专栏技术杂记
mysql 迁移2
Ss Sep25 2:17 /usr/sbin/keepalived -D root 73610 0.0 0.0 112500 2908 ? S Sep25 2:21 \_ /usr/sbin/keepalived -D root 73611 0.0 0.0 112484 2064 ?
2.4K40编辑于 2022-03-22 - 来自专栏算法之名
Nginx集群的故障迁移 顶
location ~ /set { proxy_pass http://web_services; proxy_connect_timeout 2s
65830发布于 2019-08-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号