二、 部署迁移服务平台(MSP)与go2tencentcloud工具 针对上述痛点,腾讯云提供了一套涵盖全生命周期的工具链,包含迁移服务平台 (Migration Service Platform, MSP ) 与服务器迁移工具 (go2tencentcloud)。 资源构建与迁移: 对主流产品(云主机、数据库、对象存储)进行流程向导式的资源批量创建与数据迁移。 2. 服务器迁移工具 (go2tencentcloud) 源端兼容: 支持物理机、虚拟机(VM)、其他云平台服务器。 迁移特性: 支持业务不停机、增量同步、LVM分区保留、块级迁移及断点续传。 迁移效率提升 周期缩短: 整体迁移周期可从 1~2周缩减至1~2天。 批量操作提效: 每百个资源创建及迁移任务创建可 提效80%。
摘要 在上一篇中我们介绍了数据迁移的套路,但是没有介绍具体的方案,这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案,需要实现以下目标 迁移速度 qps 需要达到1k,这样能保证1亿的数据能够在1~2天内跑完 迁移qps可控 迁移有可能对线上服务有影响,需要可动态调整qps 数据完整, 不丢失 不能遗漏数据,虽然事后我们有数据校验的过程,但是设计数据迁移方案时,需要尽可能的包装数据不丢失。 进度可控 迁移过程可中断,可重试。比如先迁移10分之一的数据,再继续来 二. 架构设计 数据迁移任务大致分为3个步骤,如下图所示 ? 可以可以将成功遍历完, 写入到任务队列的数据记录到某个存储,比如redis中,这样可以保证游标中断,或者服务重启后,可以从这个key中继续遍历,这样就实现了迁移的可中断 2.
一.环境检查: 1.源端环境(阿里云): (1)注意选择Amazon Linux 2 AMI的操作系统的EC2 (2)要有公网ip和公网带宽 (3)检查是否安装了 rsync,可执行 目标环境(腾讯云): (1)注意选择centos的操作系统的CVM (2)尽量保证目标端CVM和源端EC2在一个地区,会加速迁移 (3)要有公网ip和公网带宽 (4)CVM的容量要大于等于源端 ECS的容量(包括系统盘和数据盘) (5)建议尽可能调大两端的带宽,以便更快迁移 二.上传迁移工具至源端EC2 1.下载迁移工具到本地,文档链接如下: https://cloud.tencent.com /document/product/213/38783 点击即可 2.在源端ECS安装lrzsz yum -y install lrzsz 3.上传迁移工具到源端ECS rz 三.在源端修改迁移工具配置文件 /go2tencentcloud_x64 然后就一直等待,不要动,此时目的端CVM进入迁移流程 2.迁移结束 五.可自行在目标端CVM验证数据完整性和业务情况
Ss Sep25 2:17 /usr/sbin/keepalived -D root 73610 0.0 0.0 112500 2908 ? S Sep25 2:21 \_ /usr/sbin/keepalived -D root 73611 0.0 0.0 112484 2064 ?
[mysql@slave02 bin]$ masterha_check_status --conf=/etc/app1.cnf app1 is stopped(2:NOT_RUNNING). [mysql@slave02 bin]$ ps faux | grep manager mysql 27192 0.0 0.0 103244 864 pts/2 S+ 00:23 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2:
迁移到的目标腾讯云,HyperMotion云迁移产品也是面向于云原生设计,所有目标腾讯云的操作,通过底层API接口封装自动化调用腾讯云接口实现资源调度,无需过多人为介入,简单易操作。 目标云侧,云存储网关为HyperMotion迁移软件的一个目标侧接收数据的组件,以一个虚拟机示例的形态存在,主要接收源端Agent或Agentless传输过来的迁移数据,由云存储网关来接收写入到目标云盘进行存储 2.png 按照源端操作系统类型来选择安装方式,Linux的话就直接通过复制安装指令,Windows的话就下载对应安装包即可。 选择目标平台设置,选择腾讯云平台 5.png 配置腾讯云连接的AK、SK及其他配置信息 6.png 选择迁移腾讯云平台,添加迁移虚拟机到HyperMotion平台 选择安装完成Agent自动加入到迁移平台的虚拟机 虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯云启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯云成功机器会显示腾讯云主机的相关信息。
迁移到的目标腾讯云,HyperMotion云迁移产品也是面向于云原生设计,所有目标腾讯云的操作,通过底层API接口封装自动化调用腾讯云接口实现资源调度,无需过多人为介入,简单易操作。 目标云侧,云存储网关为HyperMotion迁移软件的一个目标侧接收数据的组件,以一个虚拟机示例的形态存在,主要接收源端Agent或Agentless传输过来的迁移数据,由云存储网关来接收写入到目标云盘进行存储 2.png 按照源端操作系统类型来选择安装方式,Linux的话就直接通过复制安装指令,Windows的话就下载对应安装包即可。 选择目标平台设置,选择腾讯云平台 5.png 配置腾讯云连接的AK、SK及其他配置信息 6.png 选择迁移腾讯云平台,添加迁移虚拟机到HyperMotion平台 选择安装完成Agent自动加入到迁移平台的虚拟机 虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯云启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯云成功机器会显示腾讯云主机的相关信息。
迁移到的目标腾讯云,HyperMotion云迁移产品也是面向于云原生设计,所有目标腾讯云的操作,通过底层API接口封装自动化调用腾讯云接口实现资源调度,无需过多人为介入,简单易操作。 目标云侧,云存储网关为HyperMotion迁移软件的一个目标侧接收数据的组件,以一个虚拟机示例的形态存在,主要接收源端Agent或Agentless传输过来的迁移数据,由云存储网关来接收写入到目标云盘进行存储 2.png 按照源端操作系统类型来选择安装方式,Linux的话就直接通过复制安装指令,Windows的话就下载对应安装包即可。 选择目标平台设置,选择腾讯云平台 5.png 配置腾讯云连接的AK、SK及其他配置信息 6.png 选择迁移腾讯云平台,添加迁移虚拟机到HyperMotion平台 选择安装完成Agent自动加入到迁移平台的虚拟机 虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯云启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯云成功机器会显示腾讯云主机的相关信息。
1、迁移需求分析 VMware虚拟机迁移上云的文章网上一搜一大堆,什么冷迁移、VMware虚拟机镜像方式导入腾讯云等,而且腾讯云也支持将VMware的vmdk文件直接导入。 这里我们排除传统的迁移服务公司,市场上不少宣传提供云迁移服务的公司还停留在使用大量的人力和工具做系统重新部署等工作的阶段。 2、技术选型:成熟的云迁移工具应具备什么能力? 万博智云的HyperMotion云迁移软件就是一个成熟的云迁移工具,可以在企业迁移上云提供有力的支持。 Untitled 1.png 配置VMware无代理链接,这里主要是连接需要迁移的VCenter或ESXI主机,填写用户名及密码 Untitled 2.png 配置完成后,会自动获取源端VMware平台的所有虚拟机清单 添加目标腾讯云配置 选择目标平台设置,选择腾讯云平台 image.png 配置腾讯云连接的AK、SK及其他配置信息 image-2.png image-3.png image-4.png 5.3.
迁移到的目标腾讯云,HyperMotion云迁移产品也是面向于云原生设计,所有目标腾讯云的操作,通过底层API接口封装自动化调用腾讯云接口实现资源调度,无需过多人为介入,简单易操作。 目标云侧,云存储网关为HyperMotion迁移软件的一个目标侧接收数据的组件,以一个虚拟机示例的形态存在,主要接收源端Agent或Agentless传输过来的迁移数据,由云存储网关来接收写入到目标云盘进行存储 2.png 按照源端操作系统类型来选择安装方式,Linux的话就直接通过复制安装指令,Windows的话就下载对应安装包即可。 选择目标平台设置,选择腾讯云平台 5.png 配置腾讯云连接的AK、SK及其他配置信息 6.png 选择迁移腾讯云平台,添加迁移虚拟机到HyperMotion平台 选择安装完成Agent自动加入到迁移平台的虚拟机 虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯云启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯云成功机器会显示腾讯云主机的相关信息。
迁移到的目标腾讯云,HyperMotion云迁移产品也是面向于云原生设计,所有目标腾讯云的操作,通过底层API接口封装自动化调用腾讯云接口实现资源调度,无需过多人为介入,简单易操作。 目标云侧,云存储网关为HyperMotion迁移软件的一个目标侧接收数据的组件,以一个虚拟机示例的形态存在,主要接收源端Agent或Agentless传输过来的迁移数据,由云存储网关来接收写入到目标云盘进行存储 2.png 按照源端操作系统类型来选择安装方式,Linux的话就直接通过复制安装指令,Windows的话就下载对应安装包即可。 选择目标平台设置,选择腾讯云平台 5.png 配置腾讯云连接的AK、SK及其他配置信息 6.png 选择迁移腾讯云平台,添加迁移虚拟机到HyperMotion平台 选择安装完成Agent自动加入到迁移平台的虚拟机 虚拟机数据同步完成后,就可以批量勾选启动主机 10.png 填写在目标腾讯云启动迁移主机时所需要的计算网络等相关配置。 11.png 迁移到腾讯云成功机器会显示腾讯云主机的相关信息。
针对阿里云的情况,我已经把删除阿里云驱动、集成腾讯云驱动搞成了一个压缩包,解压后运行根目录里的.ps1脚本即可 http://windows-1251783334.cos.ap-shanghai.myqcloud.com 在线迁移的话,可以参考https://cloud.tencent.com/developer/article/2136337 在线迁移过程中,主要靠公网传输几十G甚至更大的数据,慢、诸多影响因素,最终可能失败 ,并且全程源端服务器业务基本停了,还不如直接使用离线导入的方式,我个人比较喜欢使用离线迁移的方式,省事、成功率高、节省时间、排障方便,本文档主要介绍使用disk2vhd离线迁移,大致思路就是:用disk2vhd /cloud.tencent.com/developer/article/1843176 disk2vhd命令可能被阿里云进行安全拦截或者第三方安全软件拦截,注意规避。 总之,这2步都执行下,稳妥。
根据企业实际情况,可以选择以下几种迁移方式:在线迁移:使用腾讯云自研迁移工具go2tencentcloud,在系统不停机的情况下将源端主机整机迁移至腾讯云。 服务器迁移工具是基础迁移的核心:go2tencentcloud:腾讯云自研的服务器迁移工具,支持将操作系统、服务程序等从自建机房(IDC)或云平台等源环境迁移至腾讯云。 执行迁移操作,过程与VMware迁移类似,但需要注意Ceph存储的特殊配置。物理服务器迁移至腾讯云使用P2V工具将物理服务器转换为虚拟机镜像。 跨云迁移(如阿里云至腾讯云)使用go2tencentcloud工具进行在线迁移,支持公网和内网两种迁移模式。或采用离线迁移方式,先在源云平台制作镜像,然后传输至腾讯云。 腾讯云提供了一整套迁移工具和服务,从服务器迁移(go2tencentcloud)、虚拟机迁移(HyperMotion)到统一管理平台(MSP),覆盖了迁移全流程。
此工具适用于云云之间的迁移,也适用于本地上云迁移,具体参考官方文档。 本例子演示腾讯云跨地域迁移方案迁移方向:上海->南京上海:实例ID:ins-hzpy4zf1IP:10.10.0.29数据盘:20G系统盘:30G图片南京:实例ID:ins-23huqb9m IP:172.16.10.3 数据盘:20G系统盘:20G图片上海实例中创建测试数据:图片网络打通方案:VPN方式,CCN方式打通内网都可以,这里不做这类部署演示验证内网可通:图片安装迁移工具:wget https://go2tencentcloud -1251783334.cos.ap-guangzhou.myqcloud.com/latest/go2tencentcloud.zip上海实例ins-hzpy4zf1上安装工具:图片修改user.json rid=33图片图片启动迁移任务:图片图片通过终端也可以实时看到进度:图片显示进度100%并等待变绿图片图片查看任务详情:图片对比上海和南京实例,确认数据一致,迁移成功。图片
-i ova centos-dev-test01-v2v.ova -o local -os /vmhost/dev/dev-test01 -of qcow2 [ 0.0] Opening the centos-dev-test01-v2v.xml <? 已开始 1.1.5 测试可用性 登陆迁移后的虚拟机测试 [root@clsn7 ~]# ssh root@192.168.19.123 The authenticity of host '192.168.19.123 [root@clsn7 ~]# virsh autostart centos-dev-test01-v2v 域 centos-dev-test01-v2v标记为自动开始 至此一台机器的迁移完成, 后续按照相同的方式将其他的虚拟机进行迁移即可。
1、阿里云源端机器做快照以备不时之需 2、阿里云源端机器安装腾讯云virtio驱动后再进行迁移 原因:阿里云的virtio驱动跟腾讯云不兼容,但腾讯云的virtio兼容阿里云 步骤: 1)源端先做快照; 执行过程会弹窗询问是否信任腾讯云驱动签名,信任,安装成功后再运行迁移工具; 3)运行腾讯云在线迁移工具; 在线迁移文档:https://cloud.tencent.com/document/product /213/65711 在线迁移控制台:https://console.cloud.tencent.com/cvm/csm/onlin 3、迁移成功后在腾讯云侧卸载阿里云平台组件 powershell代码在腾讯云以管理员身份执行即可卸载阿里云平台组件 \windows-stargate-installer.exe start-sleep 5 #查询云监控组件相关2个服务的运行状态 get-wmiobject -class win32_service ,电源模式尽可能使用”高性能”(腾讯云、阿里云公共镜像均是高性能模式)或”卓越性能”。
-i ova centos-dev-test01-v2v.ova -o local -os /vmhost/dev/dev-test01 -of qcow2 [ 0.0] Opening the centos-dev-test01-v2v.xml <? 已开始 1.1.5 测试可用性 登陆迁移后的虚拟机测试 [root@clsn7 ~]# ssh root@192.168.19.123 The authenticity of host '192.168.19.123 [root@clsn7 ~]# virsh autostart centos-dev-test01-v2v 域 centos-dev-test01-v2v标记为自动开始 至此一台机器的迁移完成, 后续按照相同的方式将其他的虚拟机进行迁移即可。
云迁移是将数据和应用程序从现场IT基础设施迁移到云平台的过程,仍然是许多企业的首要任务。 云迁移是将数据和应用程序从现场IT基础设施迁移到云平台的过程,仍然是许多企业的首要任务。 基于云计算的IT系统获得的好处是多方面的,但是在将企业IT系统迁移到云平台,同时确保员工、客户和供应链的“一切照旧”的过程中并非没有挑战。 并非所有内容都可以迁移或应该迁移,并且还需要考虑迁移的顺序以及对业务和员工的影响。考虑企业的独特需求对于制定可获得云计算优势,而又不影响安全性、日常业务活动、现有遗留系统或浪费预算的计划至关重要。 云迁移并不意味着减少工作量 尽管投资云计算可以将减少现场硬件和IT经理管理应用程序的数量,但这并不意味着减少工作量。采用云计算需要大量监督工作,以确保供应商满足服务水平协议,控制预算并避免云蔓延。
在企业里,许多上云迁移成功的案例,都是先从一些较为简单的应用开始迁移,然后再一步步把更多的应用和数据迁移到云,不可能同时把所有的应用都一下迁移过去。 如上图(图片来自网络)所示,描述了企业稳步进行云迁移的一般步骤,迁移是一个系统工程,迁移过快往往将导致成本的急剧上升、工期延期甚至失败。 上云迁移的过程,我们可以将其细化分为五个步骤。 注意这里主要的场景是企业私有云,其总结的步骤也是适用于私有云的,对于迁移到公有云并不是很适用。下面我们重点来看,迁移上云的五个阶段步骤。 2、 采购或是自建及部署云服务 虚拟化是上云的第一步,接下来迁移的第二步,是部署一套私有的云管理平台。那么是采购或是自建及部署云服务呢? 从云平台的成本和价值来看。 数据迁移对于一个业务应用来说是最重要的,直接关系到业务上云的成败。
无论是传统的分析还是机器学习和人工智能等前沿技术,将这些信息从所有信息源集中到云存储库对业务至关重要。 ? 为什么进行迁移? 企业将数据迁移到云端就像人们搬到新家一样。 在开始迁移和规划过程时,确保平台和应用程序能够支持企业这些需求至关重要。 2.性能 迁移到云平台时,让数据可用且尽可能保持最新状态是至关重要的。数据分析可以提供业务优势,并且依赖于数据。 它速度更快,破坏性更小,但也无法充分利用云计算提供的所有功能。 另一种方法可能是将企业的应用程序完全迁移到云原生环境。 6.云迁移清单 迁移到云端通常需要跟踪大量细节,通常有助于列出企业需要记住的事项。例如,需要租赁一辆卡车吗?有没有更改邮寄地址? 当企业将业务迁移到云端时,需要一份清单: (1)建立团队角色,并定义成功因素。成功的迁移对企业情况有何影响?谁将帮助实现这一目标? (2)了解企业正在迁移的内容,依赖关系以及对应用程序使用者的影响。