首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏技术杂记

    mysql 迁移9

    一般而言,rm -rf * 并不会删除以 . 开头的文件 如: .bash_history .lesshst .mysql_history .viminfo

    2.2K20编辑于 2022-03-21
  • 来自专栏技术杂记

    mysql 迁移9

    一般而言,rm -rf * 并不会删除以 . 开头的文件 如: .bash_history .lesshst .mysql_history .viminfo

    2.1K20编辑于 2022-03-22
  • 来自专栏ops技术分享

    Redis集群集群迁移

    一.物理导入 简介 redis集群在存储数据时,是根据槽点进行存储。例如老集群A如下: 都在一台机器,实际可以在多台机器上。 实际操作 老集群:1.1.1.1 主节点:7000(0-5460) 7001(5461-10922) 7002(10923-16383) 从节点:7003 7004 7005 新集群:1.1.1.2 主节点 :6000(0-3000) 6001(3001-5460) 6002(5461-10922) 6003(10923-16383) 从节点:6004 6005 6006 6007 可以发现新集群的节点多了一个 将老集群的7000节点的appendonly.aof用pipe方法导入到6000节点上。再将同文件导入到6001节点上。

    1.6K20发布于 2021-05-21
  • 来自专栏技术杂记

    etcd 集群9

    使用环境变量运行新节点,将节点加入集群 [root@h102 etcd-v2.2.4-linux-amd64]# ETCD_NAME="new-h102" ETCD_INITIAL_CLUSTER=" =http://192.168.100.102:2379 [root@h102 etcd-v2.2.4-linux-amd64]# Note: 如果要添加多个节点,建议一次只添加一个,然后检查节点和集群运行状态正常后再依次逐个添加其它节点

    45210编辑于 2022-01-19
  • 来自专栏腾讯云容器专家服务的专栏

    腾讯云TKE集群迁移之velero: 使用velero-plugin-for-tencent插件

    背景 velero 是备份和还原kubernetes集群资源的和持久卷的工具, 主要提供了以下功能: 备份还原集群 不同集群间进行迁移 集群复制 tke官方文档中以及有了velero的最佳实践(https ://cloud.tencent.com/document/product/457/50122),本篇文章是在原官方文档中内的补充,针对velero-plugin-for-tencent 插件的使用. cos正常:velero backup-location get [image.png] 备份 测试场景从A集群迁移到B集群 备份A集群 velero backup create cluster-a - kubeconfig文件避免部署到原来的集群中(--kubeconfig 参数) 迁移命令: velero restore create cluster-b --from-backup cluster-a logs <BACKUP-NAME> | grep skip 验证 使用一下命令查看迁移过后的集群应用信息: kubectl get po --all-namespace 如果部分有问题,需要进步排查

    2.2K51发布于 2020-12-25
  • 来自专栏程序员同行者

    etcd集群数据迁移至新集群

    r etcdv2.zip /opt/etcdv2 传送至新节点: scp etcdv2.zip root@xxxx:/opt # scp至新机器(一台机器即可,这里传到了new-01节点上) 新集群恢复 unzip /opt/etcdv2 && mv /opt/etcdv2/member /var/lib/etcd/infra1.etcd/ 2.启动新节点(new-01节点) 因为备份的数据中,存在旧服务的集群信息 ,因为我们进行了迁移,需要将原本的集群信息覆盖掉(不影响用户数据),启动参数中添加配置--force-new-cluster,等服务成功启动后,旧集群信息已被覆盖,然后去掉此配置,重启服务即可 注:节点配置中 3.修正当前节点的peerURLs 在迁移过程中,出现了当前节点的peerURLs错误的问题,需要修正下 查看节点信息: [root@prod-k8s-01 ~]# etcdctl member list prod-k8s-01 ~]# etcdctl member update 76926a56d901 http://10.94.19.179:2380 # 更改节点peerurls 至此,我们已经成功在新集群恢复了旧集群的数据

    4.4K11发布于 2020-12-29
  • 来自专栏程序员奇点

    RabbitMQ 集群数据迁移

    RabbitMQ 集群数据迁移,完成集群A 到集群B 的数据迁移。 RabbitMQ 官网有这么一段话: ? 因此集群消息迁移的思路,是备份这些文件夹。 然后还有一段话 ? 大致意思是在恢复数据前,要先恢复元数据。 测试过程: 集群A: ? 集群A 队列消息: ? 集群B: ? 没有任何消息,队列。 数据恢复如下: 1.导出集群A 的元数据。rabbit_n1_2020-3-30.json ? 2. 将集群A的元数据导入到集群B ? ? 3. 停掉集群B ,将 集群A 的 n1 n2 n3 的文件,分别拷贝到 集群B 的 n1 n2 n3 文件mnesia 目录下。 5. 这样就完成了RabbitMQ集群数据迁移

    4.1K20发布于 2020-04-07
  • 来自专栏运维

    Elasticsearch集群数据迁移

    5.0版本 微软云elasticsearch集群5.6版本 需求 需要把阿里云elasticsearch集群新老数据迁移到微软云elasticsearch集群 解决 新数据比较好弄数据源输出到新的微软云 kafka集群然后微软云logstash消费新数据到新elasticsearch集群即可,关于老数据迁移比较麻烦,但官网也给了成熟的解决方案既是快照备份与还原,下面实施过程既是对实施过程的记录 实施 阿里云 elasticsearch集群操作 一,先关闭数据平衡,注意一个一个的来,关一个节点的进程none,all循环一次,否则最后集群切片变动,恢复时间很长 1、修改elasticsearch.yml配置,添加如下 在微软云elasticsearch集群上操作 四、迁移数据到微软云elasticsearch集群 1、挂载nfs服务端 yum -y install nfs-utils mkdir -p /storage { "snapshot" : "logstash-nginx-accesslog-2018.05", "repository" : "client_statistics", "uuid" : "VL9LHHUKTNCHx-xsVJD_eA

    2.4K10发布于 2018-11-14
  • 来自专栏腾讯云Elasticsearch Service

    Elasticsearch跨集群数据迁移之离线迁移

    集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自己的业务需要选择适合自己的迁移方案。 如果业务可以停服或者可以暂停写操作,可以参考离线迁移的四种方案。 离线迁移 离线迁移需要先停止老集群的写操作,将数据迁移完毕后在新集群上进行读写操作。适合于业务可以停服的场景。 fs: 共享文件系统,将快照文件存放于文件系统中 url: 指定文件系统的URL路径,支持协议:http,https,ftp,file,jar s3: AWS S3对象存储,快照存放于S3中,以插件形式支持 hdfs: 快照存放于hdfs中,以插件形式支持 cos: 快照存放于腾讯云COS对象存储中,以插件形式支持 如果需要从自建ES集群迁移至腾讯云的ES集群,可以直接使用fs类型仓库,注意需要在 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移,而需要跨云厂商的迁移,比如从阿里云ES集群迁移至腾讯云ES集群,可以选择使用

    27.2K105发布于 2018-06-08
  • 来自专栏腾讯云Elasticsearch Service

    Elasticsearch跨集群数据迁移之在线迁移

    一、 背景       在云上PaaS服务愈发成熟的大背景下,越来越多自建Elasticsearch的业务希望迁移到云上,享用云服务统一、高标准的服务体验的同时,降低运维成本。 本方案旨在通过集群融合的方式帮助用户进行在线迁移,尽量降低迁移过程对业务的影响,同时尽可能提高迁移的自动化程度。 二、整体思路       假定用户原有集群为A,迁移后新集群为B。 首先通过扩容的方式把集群B融合进集群A;然后通过ES的自动搬迁能力,把所有集群A的数据迁移集群B;最后用户下线集群A即可。 四、 集群融合步骤       首先假设迁移过程中涉及的集群信息如下: 用户集群 :用户原有自建的集群,假定cluster_name为 es_A。 新建集群 : 云上新建的集群,假定cluster_name为 es_B。       具体迁移操作步骤如下: 1、融合前,对 新建集群 需要确认没有打开权限,如果有打开,需要关闭。

    3.7K21发布于 2019-11-28
  • 来自专栏Elasticsearch实验室

    Elasticsearch跨集群数据迁移之在线迁移

    一、 背景       在云上PaaS服务愈发成熟的大背景下,越来越多自建Elasticsearch的业务希望迁移到云上,享用云服务统一、高标准的服务体验的同时,降低运维成本。 本方案旨在通过集群融合的方式帮助用户进行在线迁移,尽量降低迁移过程对业务的影响,同时尽可能提高迁移的自动化程度。 二、整体思路       假定用户原有集群为A,迁移后新集群为B。 首先通过扩容的方式把集群B融合进集群A;然后通过ES的自动搬迁能力,把所有集群A的数据迁移集群B;最后用户下线集群A即可。 四、 集群融合步骤       首先假设迁移过程中涉及的集群信息如下: 用户集群 :用户原有自建的集群,假定cluster_name为 es_A。 新建集群 : 云上新建的集群,假定cluster_name为 es_B。       具体迁移操作步骤如下: 1、融合前,对 新建集群 需要确认没有打开权限,如果有打开,需要关闭。

    3.4K41发布于 2019-11-28
  • 来自专栏腾讯云TStack专栏

    Ceph 集群整体迁移方案

    场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下 ,各个组件分布如下,也就是说,将运行于 con,com,ceph三个节点的 Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。 迁移思路 我们首先会将新的节点的所有OSD初始化完毕,然后将这些OSD 加入到另一棵osd tree下 (这里简称原先的集群的osd tree叫做old_tree,新建的包含新OSD的 osd tree 叫做 new_tree),这样部署完毕后,不会对原有集群有任何影响,也不会涉及到数据迁移的问题,此时新的OSD下还没有保存数据。 %A5%E7%9C%8B%E8%99%9A%E6%8B%9F%E6%9C%BA%E5%BD%93%E5%89%8D%E8%BF%9E%E6%8E%A5%E7%9A%84monitor-ip] [Ceph

    4.7K50发布于 2018-04-02
  • 来自专栏腾讯技术工程官方号的专栏

    Ceph 集群整体迁移方案

    场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下 ,各个组件分布如下,也就是说,将运行于 con,com,ceph三个节点的 Ceph 集群迁移到 new_mon_1,new_mon_2,new_mon_3 这三台新机器上。 rjenkins pg_num 256 pgp_num 256 last_change 60 flags hashpspool stripe_width 0 removed_snaps [1~9] 迁移思路 我们首先会将新的节点的所有OSD初始化完毕,然后将这些OSD 加入到另一棵osd tree下 (这里简称原先的集群的osd tree叫做old_tree,新建的包含新OSD的 osd tree 叫做 new_tree),这样部署完毕后,不会对原有集群有任何影响,也不会涉及到数据迁移的问题,此时新的OSD下还没有保存数据。

    3.2K120发布于 2018-04-23
  • 来自专栏Reinvent Data Science

    Milvus跨集群数据迁移

    注意:此方案为非实时同步方案,但借助 MinIO 客户端的数据同步功能,应该也是可以做到实时同步迁移。 容器,修改 configs/backup.yaml 配置 备份集群数据到本地存储中 将数据拷贝到新集群中进行恢复 01. 制作 milvus-backup 镜像 注意:如果是在两个单机版的 milvus 之间迁移数据,是不需要 milvus-backup 镜像的,又或者,如果 k8s 集群部署了 milvus, minio 注意一下,由于需要在两个集群迁移,因此创建工作负载的时候挂载一个共享存储(/backup),方便迁移 MinIO 备份后的数据。 03. 恢复数据到新的集群中 进入新的集群(B)执行步骤 2和步骤 3,在步骤 3 中将 backup.yaml 中的配置修改成集群 B 的链接信息。

    1.6K10编辑于 2024-06-14
  • 来自专栏XBD

    pulsar + zookeeper(迁移zookeeper集群

    zookeeper服务 由于现在leader节点还在旧集群上,登录leader节点,动态添加新集群三个节点 . ,leader 在旧集群的第三个节点上,新集群三个节点都是follower 第二次重启 leader节点,zookeeper 会重新选举 leader,新集群会被选举为 leader 节点 . /zkServer.sh restart 然后登录新集群的 leader 节点,动态移除旧集群的最后一个节点 ./zkCli.sh reconfig -remove 3 停止旧集群最后一个节点服务 . 0.0.0.0:2181 server.6=172.16.20.250:2888:3888:participant;0.0.0.0:2181 version=300000003 至此,zookeeper 集群迁移完毕 pulsar迁移zookeeper时,zookeeper中的元数据保存的还是以前pulsar初始化时的老的zookeeper地址,否则会报无法连到zookeeper .

    64710编辑于 2024-08-07
  • 来自专栏房东的猫

    Elasticsearch跨集群数据迁移

    简介 根据业务需求,存在以下场景: 迁移过程中,旧的集群可以暂时停止服务或者暂停写入,数据全部迁移到新的集群中后,业务切换到新的集群进行读取和写入 迁移过程中,旧集群不能停止写入,业务不能停服 如果是第一种场景 离线迁移需要先停止老集群的写操作,将数据迁移完毕后在新集群上进行读写操作。适合于业务可以停服的场景。 hdfs: 快照存放于hdfs中,以插件形式支持 cos: 快照存放于腾讯云COS对象存储中,以插件形式支持 如果需要从自建ES集群迁移至腾讯云的ES集群,可以直接使用fs类型仓库,注意需要在Elasticsearch add & update & delete 如果业务写入ES时既有新增(add)数据,又有更新(update)和删除(delete)数据,可以采用6.5之后商业版X-pack插件中的CCR功能进行数据迁移 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移,而需要跨云厂商的迁移,比如从阿里云ES集群迁移至腾讯云ES集群,可以选择使用

    2.4K32发布于 2021-01-20
  • 来自专栏ops技术分享

    Jenkins Job迁移--插件导入

    在工作中可能会遇到这样的场景,即需要把一个Jenkins Master上的job迁移到另外一台Jenkins Master上,那怎么做比较好呢? 那我们现在来介绍下这种配置项较多、job比较多的情况下怎么来迁移这些job。 现在我搭建了两台Jenkins来进行说明。 Job Import Plugin导入 现在先介绍第一种方式,通过Job Import Plugin方式来进行job的迁移,这种方式比较方便,首先到新的Jenkins上,也就是192.168.9.8上, 在192.168.9.8上插件管理里先安装下Job Import Plugin,如下所示: 安装完后进入“Manage Jenkins” -> “Configure System”下,找到Job Import Jenkins上的插件新Jenkins上未必有,因此可以根据实际情况勾选是否需要安装必要的插件,如上面的截图所示,需不需要覆盖已有的job也根据实际情况勾选下。

    2.7K20发布于 2021-06-01
  • 来自专栏ops技术分享

    Redis单点到集群迁移

    image.png 在192.168.1.185上查询当前key数量并保存,将dump.rdb和appendonly.aof文件发送到192.168.1.91上 image.png 3.数据恢复到集群 切换到192.168.1.91上查看集群状态 redis-trib.rb check 192.168.1.91:7001 image.png 从刚才的集群状态得知 192.168.1.91:7001 99439ae72385633d3c9530a5e4f2afdca22a3e25 ,其有 5462 个slots 192.168.1.94:7003 的runid为 19bc53185ae3e103cf4e9ce15772d88f4900256a ,其有 5461 个slots 将92的slots移动到91上 redis-trib.rb reshard --from 19bc53185ae3e103cf4e9ce15772d88f4900256a 移动到92上 redis-trib.rb reshard --from f2ebf72a78f2637eead82c219f2fca737a36a371 --to 19bc53185ae3e103cf4e9ce15772d88f4900256a

    2.7K30发布于 2021-05-21
  • 来自专栏技术杂记

    RabbitMQ集群I9

    集群状态 [root@h102 ~]# rabbitmqctl cluster_status Cluster status of node rabbit@h102 ...

    49010编辑于 2022-05-04
  • 来自专栏算法之名

    Nginx集群的故障迁移

    首先可以肯定的是Nginx在一个tomcat节点完全宕机的情况下,是不会再去把请求分发过去的。

    65830发布于 2019-08-20
领券