- 综合排序
- 最热优先
- 最新优先
- 来自专栏方丈的寺院
数据迁移(2) - 如何快速迁移
摘要 在上一篇中我们介绍了数据迁移的套路，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 迁移qps可控 迁移有可能对线上服务有影响，需要可动态调整qps 数据完整， 不丢失 不能遗漏数据，虽然事后我们有数据校验的过程，但是设计数据迁移方案时，需要尽可能的包装数据不丢失。 进度可控 迁移过程可中断，可重试。比如先迁移10分之一的数据，再继续来 二. 架构设计 数据迁移任务大致分为3个步骤，如下图所示 ? 可以可以将成功遍历完， 写入到任务队列的数据记录到某个存储，比如redis中，这样可以保证游标中断，或者服务重启后，可以从这个key中继续遍历，这样就实现了迁移的可中断 2.
4.4K10发布于 2020-05-20 - 来自专栏技术杂记
mysql 迁移2
Ss Sep25 2:17 /usr/sbin/keepalived -D root 73610 0.0 0.0 112500 2908 ? S Sep25 2:21 \_ /usr/sbin/keepalived -D root 73611 0.0 0.0 112484 2064 ?
2.2K40编辑于 2022-03-22 - 来自专栏技术杂记
mysql 迁移2
[mysql@slave02 bin]$ masterha_check_status --conf=/etc/app1.cnf app1 is stopped(2:NOT_RUNNING). [mysql@slave02 bin]$ ps faux | grep manager mysql 27192 0.0 0.0 103244 864 pts/2 S+ 00:23 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2:
50820编辑于 2022-03-21 - 来自专栏架构之家
从单体架构迁移到 CQRS架构
当现有的架构遇到问题而又无法解决时，系统就会开始演进。每一次演进都会伴随着一些技术上的选择。需要解决什么问题？需要付出什么样的代价？ 作为一名架构师或高级工程师，必须找到一种合理的演进方式，在开发进度、技术栈、团队水平等各方面都能满足条件，这样才能制定出可行的解决方案。 我们将从一个小型单体架构开始，逐步演进，像每一个软件系统的演进一样。本文将介绍每一次演进背后的原因和方法。 传统单体架构 这是最常见的系统设计。 通常，在 restful API 中，2xx 表示成功，4xx 表示失败。右边的读路径只是通过读请求来获得相应的 DTO。 再从客户端的的角度来说下 DTO 的含义。 基于任务的单体架构 为了解决上述传统单体架构中存在的问题，这里我们尝试引入域的概念。 这个图与上面的图基本相同。唯一的区别是在写路径上用消息代替了 DTO。
70120编辑于 2022-09-27 - 来自专栏云计算
迁移到微服务架构
第一个问题是为什么金融科技公司应当把遗留的传统架构应用迁移到现代的架构风格上；其次，如何在这一范式迁移过程中重用现有的应用资产；最后是这种迁移将以何种方式解决这一领域中包括代码质量和重用性在内的一系列令人望而生畏的问题 因而类似的公司在早期并不会给予应用架构足够的重视。他们往往采用单体架构建立应用程序。这一架构易于实现，但在增加功能时会形成紧密的依赖关系。 p2.png 这种架构的一些主要优点是： 统一团队 它带来了团队组织范式的转变。每一个模块都有一组中间件和数据库开发者以及质量保证（QA）测试员负责端到端的功能开发、测试和服务交付。 未来之路 事实上，迁移到微服务牵涉到风险，努力和成本。但是，如果我们能制定正确的策略，那么从长远来看，应用程序的整体质量将会增加。这是无可否认的。 为了消除这种迁移风险，公司可以考虑先用微服务架构完成新需求的开发，并逐渐将传统模块转变为基于微服务的体系结构。 腾讯云分布式微服务来啦！
1.2K60发布于 2018-06-25 - 来自专栏惨绿少年
ESXI 迁移至KVM (V2V迁移)
-i ova centos-dev-test01-v2v.ova -o local -os /vmhost/dev/dev-test01 -of qcow2 [ 0.0] Opening the centos-dev-test01-v2v.xml <? 已开始 1.1.5 测试可用性 登陆迁移后的虚拟机测试 [root@clsn7 ~]# ssh root@192.168.19.123 The authenticity of host '192.168.19.123 [root@clsn7 ~]# virsh autostart centos-dev-test01-v2v 域 centos-dev-test01-v2v标记为自动开始 至此一台机器的迁移完成， 后续按照相同的方式将其他的虚拟机进行迁移即可。
1.5K20发布于 2018-07-31 - 来自专栏惨绿少年
ESXI 迁移至KVM (V2V迁移)
-i ova centos-dev-test01-v2v.ova -o local -os /vmhost/dev/dev-test01 -of qcow2 [ 0.0] Opening the centos-dev-test01-v2v.xml <? 已开始 1.1.5 测试可用性 登陆迁移后的虚拟机测试 [root@clsn7 ~]# ssh root@192.168.19.123 The authenticity of host '192.168.19.123 [root@clsn7 ~]# virsh autostart centos-dev-test01-v2v 域 centos-dev-test01-v2v标记为自动开始 至此一台机器的迁移完成， 后续按照相同的方式将其他的虚拟机进行迁移即可。
1.4K30发布于 2018-04-19 - 来自专栏数商云贸
B2B商业模式转型三要素：组织、架构、与迁移
由于云服务商和“中台”模式到来，B2B公司现在可以采取分阶段方式进行平台迁移。 分阶段规划、并进行迁移，可最大程度上减少公司在运营中面临的各类风险。另外，在分阶段转型中，持续转换是正常的，因为项目被划分为不同的业务区域，以便功能和数据可以一次一个地从传统平台传输到新的基础架构。 这样是有助于从组织、架构、和实际迁移等角度来考虑项目整体。 2、组织 关于公司的组织形态，这听起来是很基本的，但从长期来看，让组织去支持公司转型是非常重要的一件事。 3、架构 架构是迁移的蓝图。它描述了不同的组件以及它们之间的链接方式和信息的存储位置。 公司转型所选择的架构必须符合公司的需求，并考虑渠道数量、触点数量、组织规模以及整体进入市场的方法。 总之，适合一个组织的迁移策略可能并不适用于另一组织。但要记住的是，这种新的商业架构，是建立在数字商业世界中，并具有分阶段的迁移能力，而不是去打造一些具有特色功能来保持公司的商业竞争力。
84440发布于 2019-12-02 - 来自专栏超级架构师
「数据架构」数据迁移神器 pgloader，迁移各种数据到PostgreSQL
命令 pgloader实现了自己的命令语言，这是一种DSL，允许指定要实现的数据加载和迁移的各个方面。该语言中提供的一些功能只适用于特定的源类型。 : pgloader [<options>] [<command-file>]...pgloader [<options>] SOURCE TARGET 您可以使用pgloader命令语言拥有一个包含迁移规范的命令文件 intro.html 本文：https://pub.intelligentx.net/pgloader-loads-data-various-sources-postgresql 讨论：请加入知识星球或者微信圈子【首席架构师圈 】 微信公众号 如果喜欢仙翁的分享，请关注微信公众号【首席架构师智库】 仙翁小号 如果想进一步讨论，请加仙翁小号【intelligenttimes】，注明你希望加入的群：架构，云计算，大数据，数据科学， 微信圈子 如果想和志趣相投的同好交流，请关注仙翁的微信圈子【首席架构师圈】。 如果想向大咖提问，近距离接触，或者获得私密分享，请加入知识星球【首席架构师圈】
3.4K10发布于 2020-01-14 - 来自专栏杨建荣的学习笔记
迁移到MySQL的架构演进（一）
这是学习笔记的第 2010 篇文章 我们经过了一个相对漫长的周期把SQL Server业务迁移到了MySQL分布式架构，整个过程算是跌宕起伏。我来复现一下这个过程。 （2）对于大家的常规理解来说，希望达到的效果是一种透明平移的状态，即原来的存储过程我们都无缝的平移过来，显然在MySQL分布式的架构下，这种方案是不可行的，而且如果硬着头皮做完，那么效果也肯定不好。 （1）功能阶段：梳理需求，对存储过程进行转义，适配MySQL方向 （2）架构阶段： 对系统架构和业务架构进行改进设计，支持分布式扩展 （3）性能阶段： 对系统压力进行增量测试，全量测试，全面优化性能问题 （4）迁移阶段： 设计数据迁移方案，完成线上环境到MySQL分布式环境的迁移 我们主要讨论上面3个阶段，我总结为8个架构演进策略，我们逐个来说一下。 10.4.3 系统架构演进阶段 策略2：系统架构拆分 我们在之前做业务梳理达成的共识是：系统分为数据业务和账单业务，那么我们下一步的改造的目标也很明确了，一来数据库的存储容量太大，一个TB级别的MySQL
88920发布于 2019-06-18 - 来自专栏杨建荣的学习笔记
迁移到MySQL的业务架构演进实战
本文会着重讨论迁移到MySQL架构体系的演进过程，相信大大小小的公司在不同的发展阶段都会碰到其中一些共性的问题。 我们先来简单介绍一下系统迁移的背景，在这个过程中我们不会刻意强调源数据库的一些功能性差异，相对来说是一种更通用的架构改进方式。 （4）迁移阶段：设计数据迁移方案，完成线上环境到MySQL分布式环境的迁移。 我们主要讨论上面前3个阶段，我总结为8个架构演进策略，我们逐个来说一下。 2）问题2：业务表数量巨大 对于业务表数量巨大的问题，在之前账单业务的架构重构中，我们已经有了借鉴的思路。 六、架构里程碑和补充：基于分布式架构的水平扩展方案 至此，我们的分布式集群架构初步实现了业务需求，后续就是数据迁移的方案设计了，3套集群的实例部署架构如下图所示。 ?
1.1K20发布于 2019-10-31 - 来自专栏计算机视觉战队
学习迁移架构用于Scalable图像的识别
链接：https://arxiv.org/abs/1707.07012 ---- 1、Introduction 在ImageNet上学习到的分类网络，其特征迁移到其他任务时，往往能获得更好的效果。 所以作者就想在CIFAR-10上训练得到一个比较好的网络，然后迁移到ImageNet上也能获得很好的效果。为了能完成这种迁移，作者设计一个与网络深度和图片大小无关的搜索空间。 2.Method 因此作者重心放在设计一个Cell的搜索空间。文中提出两种Cell：Normal Cell 和 Reduction Cell。 2.我觉得这种思路是正路。 之前的网络结构虽然成功，也确实总结出了不少有用的结构规律，但始终是拍脑袋的因素在里面。
95750发布于 2018-04-17 - 来自专栏斑斓
【系统架构】遗留系统的技术栈迁移
最后，还有一种方式，则是对遗留系统进行技术栈迁移。
1.3K70发布于 2018-03-07 - 来自专栏Golang语言开发栈
GORM V2 自动迁移和迁移接口的方法
01 概念 在项目开发中，我们可能会随时调整声明的模型，比如添加字段和索引，使用 GORM 的自动迁移功能，可以始终让我们的数据库表保持最新。 此外，GORM 还提供了一些迁移接口的方法，可以帮助我们方便操作数据库表、字段和索引。 02 自动迁移 AutoMigrate 用于自动迁移您的 schema，保持您的 schema 是最新的。 = nil { fmt.Printf("创建索引失败2，err:%s\n", err) return } 删除索引 gormDB.Migrator().DropIndex(&Student{}, 方式 1：（未执行成功，可能是 GORM V2 的 BUG） err = gormDB.Migrator().RenameIndex(&Student{}, "Name", "UserName") if exist in table 'students' 修改索引名称失败，err:Error 1176: Key 'Name' doesn't exist in table 'students' 方式 2：
4.6K30发布于 2020-09-10 - 来自专栏木二天空
011.KVM-V2V迁移
迁移 2.1 前期准备 源主机：vm01-centos6.8 源虚机名称：kvm-host 172.24.8.32 目标主机：kvm-host-2 172.24.8.41 迁移后虚机名称：vm01-cloud-centos6.8 注意：virt-v2v只支持静态迁移，必须先停止需要迁移的虚机。 2.4 正式迁移方法二：目从源迁进 1 [root@kvm-host-2 ~]# virt-v2v -ic qemu+ssh://172.24.8.32/system -os vmdisk -b 附——自身内部迁移 1 [root@kvm-host ~]# virt-v2v -oc qemu+ssh://172.24.8.32/system -os vmdisk -on vm01-clone-centos6.8 -b br0 vm01-centos6.8 #自身迁移操作 -os：指定到KVM中的哪个存储池； -of：表示迁移转出的虚机磁盘格式
80220发布于 2019-07-26 - 来自专栏DDD
架构与架构师2
最近闲了，看了几次李运华关于架构的视频，不禁再次反问架构是什么？架构师的职责是什么？ 对于这两个问题，之前也总结过一篇《架构和架构师》[1]，再结合他的专栏文章和视频，补充一下 架构 李运华给架构的定义：软件架构指软件系统的顶层结构，缩句成架构指结构，而结构的修饰语蕴含了太多东西，抽象不够直白 ，得行多少路，抽象了多少回，才有的认知，所以我也不打算靠记忆了，不过对于模块和组件的认知很独到 虽然架构定义众家纷说，但对于如何描述架构还是有共识的，那就是“4+1视图”，在《架构和架构师》[2]也描述了 架构师在国内，大多时候可能不是个岗位，而是个角色。大厂还有架构师一说，小厂难得有专职架构师，所以架构师职能还得多多取经大牛，学习一下大牛 架构师能力模型 ? 这个过程，回顾最近几个系统设计的确是这样的 1.业务方提出一个业务，刚开始可能只是个目标，轮廓2.与业务方、产品不停的交流，交流得越深入，需求就越明确3.理解业务并明确需求后，划分模块，不管是传统画ER
56210发布于 2021-03-23 - 来自专栏云计算与数据库
MongoDB分片迁移原理与源码（2）
const long long avgRecSize = dataSize / recCount; long long keyCount = maxChunkSize.get() / (2 * 3.2 版本, chunks 数量小于 20 的时候为 2， 小于 80 的时候为 4， 大于 80 的时候为 8 。 (distribution.totalChunks() < 80) threshold = 4; 4.0 版本，chunks 数量差距大于 2 的时候就会发生迁移。 round中迁移个数，0为false //即如果已经在一次迁移中了或集合的块总数少于20，则迁移阈值为1；否则为2 const size_t imbalanceThreshold = ( ，之前算出来的2，则迁移 if (imbalance < imbalanceThreshold) return false; /
1.4K00发布于 2020-04-04 - 来自专栏全栈程序员必看
Win7迁移基础知识(2)：USMT（用户状态迁移工具）
Win7迁移基础知识(2)：USMT（用户状态迁移工具） 一、使用USMT 1、安装USMT USMT是随着Windows AIK安装的。 可以将该 USMT 整个目录复制到U盘的根目录，以便于使用U盘进行用户状态迁移。 2、远程客户端使用USMT 在已安装了 Windows AIK 的计算机上共享其 USMT 工具所在的文件夹。 \user1\> n: 二、扫描用户状态 1、扫描 示例如下： N:\>ScanState /i:migapp.xml /i:miguser.xml /genconfig:config.xml 2、 详细语法请参考官网 http://technet.microsoft.com/zh-CN/library/hh825093.aspx 2、脱机捕获 可以在Windows PE中运行ScanState （2）简化过程。可以从Windows.old迁移，方便在安装新操作系统后进行迁移。 （3）提高成功率。脱机时不会锁定文件，Windows PE还消除了对联机系统的管理员级别访问权限的需要。
3K11编辑于 2022-07-05 - 来自专栏AIoT技术交流、分享
嵌入式SoC多线程架构迁移多进程架构开发技巧
将嵌入式SoC开发从单进程多线程架构迁移多进程架构是一项需要谨慎规划和实施的任务，尤其在资源有限的嵌入式系统中。 这种架构转变通常是为了提高系统的稳定性、隔离性、安全性和并发处理能力。 1、架构迁移步骤 1、分析系统功能模块 首先，需要对现有的单进程多线程架构中的功能模块进行分析。 找出哪些模块可以独立运行，并识别哪些模块间存在紧密通信的依赖。 这些依赖关系在多进程架构中将通过进程间通信（IPC）来处理。 2、确定进程划分 根据功能模块的划分，将系统设计为多个独立的进程。 例如： 数据采集进程：专门处理传感器数据采集。 2、架构迁移的关键点 性能与资源管理 多进程架构在嵌入式系统中的使用可能会增加内存和资源开销，因为每个进程都有自己的独立地址空间和资源。 3、迁移实例 这里以一个简单的嵌入式系统为例，逐步展示如何从单进程多线程架构转变为多进程架构。 在这个架构中，系统有三个主要功能模块： 温度传感器数据采集线程。 数据处理线程。
31100编辑于 2024-12-20 - 来自专栏段石石的专栏
Word2Vec 的迁移实践：Tag2Vec
好吧，大家可能发现了，这tm不就是Word2Vec吗？每个序列不就是Word2Vec的语料语句吗？ /data/tag_day_ok.csv' ) model = word2vec.Word2Vec(sentences=sentence, size=50, workers=4, min_count=5 ) news_w2v = '.. /data/tag_word2vec.model' model.save(news_w2v) Tag2Vec on TensorFlow 现在在TensorFlow实现的WordVec，效果不是很好 Tag2Vec结果 这里我们对Tag2Vec做一些展示： #-*-coding:utf-8-*- import gensim import matplotlib.pyplot as plt from
3K20发布于 2017-10-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号