首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯云数据库(TencentDB)

    MYSQL离线迁移至分布式TDSQL

    当使用MYSQL单实例,因数据量剧增出现性能问题的时候,普通的分库分表又难以满足其需求,一些客户会考虑迁移至分布式数据库。 TDSQL 分布式是一款面向金融领域的一款数据库,适合应用在海量数据、高性能,高并发的使用场景。那么我们从MYSQL迁移TDSQL都有哪些途径呢 ? 这里我们对MYSQL离线迁移至分布式TDSQL 介绍一种方法: 使用LOAD_DATA  导入至TDSQL分布式实例 ,LOAD_DATA 是在原生 MYSQL load data  基础上,针对导入分布式 TDSQL 进行优化逻辑处理后的一款导入工具。 此工具只适用于导入TDSQL分布式 ,不适合TDSQL非分布式。究其原因是 TDSQL分布式 在插入语句中有一个严格限制,插入语句必须带有shardkey ,没有shardkey的情况下会导入失败。

    2.5K20发布于 2020-11-13
  • 来自专栏技术杂记

    mysql 迁移8

    备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK

    1.7K20编辑于 2022-03-22
  • 来自专栏技术杂记

    mysql 迁移8

    备份完成 xtrabackup: Creating suspend file '/data/nfs/test_full_backup/2015-12-09_00-53-03/xtrabackup_log_copied' with pid '80799' xtrabackup: Transaction log of lsn (4998915938330) to (4998984695861) was copied. 151209 02:06:09 innobackupex: Executing UNLOCK

    42510编辑于 2022-03-21
  • 来自专栏数据和云

    TDSQL迁移,myloader:39626报错问题的排查与解决

    背景介绍 TDSQL平台下,某系统由于业务需求,要将其中三个数据库迁移至其他实例。 TDSQL拥有DCN同步以及多源同步等迁移功能,但是由于前期部署规划问题并没有安装相关组件,因此综合考虑后,决定使用mydumper进行数据冷迁移。 `DEPLOYMENT_ID` varchar(10) DEFAULT NULL ) ENGINE=InnoDB AUTO_INCREMENT=10108 DEFAULT CHARSET=utf8 源环境下该表有一个名为tdsql_pk_auto_implicit的主键。 总结 TDSQL中,无主键的表会自动创建一个名为tdsql_pk_auto_implicit的主键,该主键只能通过jmysql的方式才可见,业务用户无法查到该主键。

    1.3K10发布于 2021-10-13
  • 来自专栏金融级分布式数据库TDSQL

    银行核心海量数据无损迁移TDSQL数据库多源异构迁移方案

    本文将带来直播回顾第五篇《银行核心海量数据无损迁移TDSQL数据库多源异构迁移方案》。 ; l 二是TDSQL异构迁移能力有哪些比较好的特性,以及在实现这些特性的过程中的难点问题和我们提出的特色的解决方案; l 三是结合TDSQL现在在国产数据库的一些推广以及应用的经验,我们针对在异构数据迁移或者同步的领域场景最佳实践 当然,除了支持数据库迁移,多源异构迁移方案也支撑数据汇总、分发等业务场景,这也是TDSQL具备完善的产品服务体系的体现。 1 TDSQL异构数据迁移分发的背景及架构方案 1.1 TDSQL异构数据迁移方案的场景 image.png TDSQL作为一个金融级数据库,面对的更多是金融级场景以及金融机构客户,金融机构往往有一些比较特殊的需求 举个例子,我们按[5,6,7,8,9]这样的顺序向消息队列生产一部分消息(写),届时收到的消息回调序号也应该是[5,6,7,8,9];当接收完9号这条消息回调的时候,下一条如果收到的回调序号是12、或者

    3.4K31发布于 2020-07-02
  • 来自专栏QGS星球

    手搭手Mybatis-Plus多数据源迁移TDSQL

    环境介绍 技术栈 springboot+mybatis-plus+druid+baomidou+mysql+oracle 软件 版本 mysql 8 IDEA IntelliJ IDEA 2022.2.1 private TdUserService tdUserService; @Test void TDSqlDemo(){ tdUserService.list(); } ​ 图片 迁移测试 Mysql迁移TDSQL ​ @Test void MysqlToTDsql(){ List<TUser> mysqls =tUserService.list 达梦)迁移TDSQL 图片 图片 图片 TDSQL-C MySQL 版(TDSQL-C for MySQL)是腾讯云自研的新一代云原生关系型数据库。 TDSQL-C MySQL 版引擎完全兼容原生 MySQL,您可以在不修改应用程序任何代码和配置的情况下,将 MySQL 数据库迁移TDSQL-C MySQL 版引擎。

    1.1K20编辑于 2023-10-16
  • 来自专栏Lansonli技术博客

    腾讯云数据库TDSQL——博客数据库迁移实践

    博客banner6.jpg 博客数据库迁移实践 前言 延续之前博客的风格,留下两段语录 博主语录:一文精讲一个知识点,多了你记不住,一句废话都没有 经典语录:如果你认识从前的我,那么你就会原谅现在的我 之所以写这篇文章,还是正好有刚需,我的博客数据库需要迁移使用TDSQ-C的产品,为了提升我博客速度,还是花重金去买了腾讯云数据库TDSQL的产品。 一、产品概述 TDSQL-C MySQL 版(TDSQL-C for MySQL)是腾讯云自研的新一代云原生关系型数据库。 TDSQL-C MySQL 版引擎完全兼容原生 MySQL,您可以在不修改应用程序任何代码和配置的情况下,将 MySQL 数据库迁移TDSQL-C MySQL 版引擎。 /document/product/1003/30488 二、 TDSQL简介 1、整体架构 2、组件 TDSQL整套系统包含的组件有: 组件缩写 组件名称 备注 Zookeeper zookeeper

    5.7K43编辑于 2022-04-29
  • 来自专栏云同步

    MySQL 5.7.27 迁移 DM 8

    :::info 参考链接: https://eco.dameng.com/document/dm/zh-cn/start/mysql_dm.html#2.2.6%20%E7%A7%BB%E6%A4%8D /heyyall/zwitgw/tzt3t8zy0m3nsigo? singleDoc# 《MySQL 5.7.27 迁移 DM 8迁移前对象统计 统计指定库中表的数目 SELECT COUNT(*) TABLES, TABLE_SCHEMA FROM INFORMATION_SCHEMA.TABLES 达梦数据库的数据文件在空间不足时自动增长,每次自动增长的大小和表空间空间上限可以自己设置,那如果说超过扩展上限就会导致表空间不足(可能会出现插入数据失败的情况) ::: 创建用户并授予权限 相关文档: DM8安全管理 ::: 自定义对象迁移策略 建议在转换中,先进行表,再进行迁移数据,这样能避免一些报错,可以看下面的小建议 点击完成,开始迁移 点击下一步 -> 点击完成 迁移小建议 建议先迁移表再迁移数据

    43210编辑于 2025-08-01
  • 腾讯云TDSQL迁移替换成本最优选型实践

    本文将围绕语法兼容、工具链支撑、真实成本三大维度,结合实际产品表现与案例,拆解腾讯云TDSQL迁移替换中的成本优势与选型方法。 三、主流产品迁移成本对比腾讯云TDSQL:金融级高可用与全栈国产兼容的分布式数据库语法兼容指标:TDSQL兼容SQL2016标准,支持JSON、空间类型、视图、存储过程等高级特性,对Oracle语法约99.4% 兼容,可处理超80万条业务SQL及3万多条应用SQL,大幅减少适配工作;零售核心批处理系统采用基于TDSQL-JDBC的单元化架构,业内首套,具备一键弹性伸缩能力;数字人民币业务系统完成全量全栈国产迁移 ;具备秒级自动容灾金融级高可用,支持命令行、容器、图形化安装,拥有超1800+次部署经验及“两地三中心”“多地多中心”部署能力;TDSQL迁移工具(TMT)可零侵入性完成对象评估(表、索引、约束、视图、 15%;福建海峡银行同等资源需求下每年节约800万元,持续提升降本增效作用;TDSQLTDStore替换InnoDB后,存储空间相比2副本InnoDB降低为1/6,表结构秒级在线增加字段,并行查询提速8倍以上

    11210编辑于 2026-05-07
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯云DBbridge可助力巨杉数据库无缝迁移TDSQL

    近日,腾讯云数据库TDSQL 、数据库迁移平台DTS-DBbridge已与巨杉数据库SequoiaDB完成产品兼容性认证。 测试结果表明,通过DTS-DBbridge可以将巨杉数据库的常规表、分区表、主子表等表库的数据顺利迁移TDSQL,数据同步到TDSQL后兼容性良好,数据一致性校验符合预期,整体业务运行稳定,安全可靠。 TDSQL 是腾讯自主研发的一款金融级分布式数据库产品,旗下涵盖金融级分布式、云原生等多引擎融合的完整数据库产品体系,提供业界领先的金融级高可用、存算分离、企业级安全等能力,同时具备智能运维平台、Serverless 数据库迁移平台DTS-DBbridge是一款支持异构数据库和同构数据库之间迁移和同步的企业级产品,可以帮助企业在业务不停服的前提下,支持Oracle、MySQL、MariaDB、PostgreSQL、DB2 此番,借助DTS-DBbridge的迁移能力,巨杉数据库用户可以将数据库的对象结构信息、核心数据以及应用平滑迁移TDSQL,保障业务的平稳发展和进一步拓展。

    54610编辑于 2024-03-27
  • 来自专栏机器学习炼丹之旅

    CS231n:8 迁移学习

    CS231n第八节:迁移学习 传送门:Transfer Learning and Fine-tuning Convolutional Neural Networks 本系列文章基于CS231n课程 什么是迁移学习 实际上,很少的人会训练整个卷积神经网络(使用随机的初始化),因为相对来说,很少有足够大的数据集可以用于训练。 三种常见的迁移学习类型如下所示: 1.2 作为固定的特征提取器 获取一个使用ImageNet预训练的卷积神经网络,移除最后一个全连接层(这一层输出1000个类别得分),然后将剩余的卷积神经网络视为一个用于新数据集的特征提取器 如何调优 如何决定你应该在一个新的数据集上执行什么类型的迁移学习?

    36820编辑于 2022-08-08
  • 来自专栏Portworx云原生容器存储

    K8S数据迁移方法

    1.png 传统的存储行业还没有做好足够的工作来解决K8S的问题:容器可移植性、K8S自动化和多云交付。 Portworx企业版首先为K8S中大数据量的工作负载提供无缝的高可用性,无论这些工作负载是在本地系统还是在公共云中运行,都将提供无缝的高可用性。 可迁移性和易操作性 通过控制与K8S的集成方式,PX-Motion为大量数据型工作负载带来了充分的可迁移性。 只需一个命令,PX-Motion就可以跨集群和跨云移动K8S应用程序、Kubernetes配置和Portworx数据卷。 维护:它可在几分钟内迁移整个集群的应用程序和数据,以方便执行硬件的维护服务。 PX-Motion支持跨集群和云迁移,而PX-Central提供了必要的可视性操作界面来管理和控制数据的迁移

    2.4K30发布于 2019-11-29
  • 来自专栏SRE运维手记

    k8s集群备份与迁移

    Velero 是一个用Go语言开发的开源工具,用于 Kubernetes 集群的备份、恢复、灾难恢复和迁移。 argocd,blackbox,chaosblade --ttl 240 查看定时任务 velero get schedules 其他指令 velero卸载 velero uninstall 05、k8s 集群迁移 在目标集群安装velero,安装参数的s3url(“s3Url=http://<minio-api-url>”)指向源集群的minio,在完成部署后,方可进行备份浏览和还原,但需要注意以下两个细节 velero.io/change-storage-class: RestoreItemAction data: cfs-v4: <target-sc> 06、结语 velero使kubernetes的备份、还原和迁移更加灵活和简单

    98710编辑于 2024-09-13
  • 来自专栏全栈程序员必看

    pytorch(8)– resnet101 迁移学习记录

    一、前言 本篇记录使用 pytorch 官方 resnet101 实现迁移学习,迁移学习是当前深度学习领域的一系列通用的解决方案,而不是一个具体的算法模型。 Pre-training + fine-tuning(预训练+调参) 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式,有以下3步 (1)把预训练模型当做特征提取器: TensorFlow或者 (3) Learning rate: 在迁移学习的微调过程中一般不建议使用过大的学习率,通常来说1e-5是比较合适的选择 二、代码 resnet101 官网定义 import torch from torchvision.models.resnet Bottleneck, [3, 4, 23, 3], **kwargs) if pretrained: checkpoint = torch.load('resnet101-5d3b4d8f.pth

    1.2K30编辑于 2022-11-08
  • 来自专栏算法之名

    Oracle迁移MySQL 8特殊SQL处理 顶

    迁移MySQL 8,建表如下 create table nayi_180328_connect_test( dept_id varchar(50), parent_id varchar(50), 07 字符串转换日期 Oracle中 select to_date('2020-01-01','yyyy-mm-dd') from dual 结果 2020-01-01 00:00:00 MySQL 8中 Oracle中 select nvl(parent_id,'boot') from nayi_180328_connect_test where dept_id='root' 结果 boot MySQL 8中 在MySQL 8中 WITH TEMP AS( SELECT 'CHINA' NATION ,'GUANGZHOU' CITY FROM DUAL UNION ALL SELECT 'CHINA 在MySQL 8中 创建同样的表,同样的分区,关于MySQL表分区的分类可以参考https://www.cnblogs.com/zhouguowei/p/9360136.html CREATE TABLE

    1.4K20发布于 2020-05-18
  • 来自专栏腾讯云数据库(TencentDB)

    品牌升级后,TBase更名为TDSQLTDSQL-A,CynosDB更名为TDSQL-C

    腾讯云企业级分布式数据库TDSQL品牌升级后,共有三大产品系列,分别为分布式数据库TDSQL、分析型数据库TDSQL-A、云原生数据库TDSQL-C,将原TDSQL、TBase、CynosDB产品统一整合成 TDSQLTDSQL MySQL版为原TDSQLTDSQL PostgreSQL版为原TBase OLTP版及HTAP版;TDSQL-A PostgreSQL 版为原TBase OLAP版,并新增 ClickHouse 因此,我们将TDSQL、TBase和CynosDB正式升级为腾讯云企业级分布式数据库TDSQL,全新升级后的TDSQL将在多元场景下实现多引擎共存,充分发挥各个引擎的特点及优势,实现极致的性能和通用。 所以目前的企业级分布式数据库TDSQL是腾讯云数据库战略升级的产物,由TDSQL、TBase和CynosDB融合而成,集成了原TDSQL、TBase和CynosDB的优势,与之前主打金融级高可用的TDSQL

    4K20发布于 2020-12-28
  • 来自专栏腾讯云数据库(TencentDB)

    TDSQL inside之路

    8月26日,在看到相关新闻之后,激动之余的老潘在朋友圈这样写道: “2016年第一次去人行立下的flag,今年要实现了”,并且附上了6年前的朋友圈截图,下面是众多同事和领导的感叹和祝福。 TDSQL、计算与存储分离的云原生数据库 TDSQL-C 等产品,获得了云原生技术、多租户隔离能力。 直至2019年8月,项目行将结束之时,张文在朋友圈里记录了这样一段文字: “记得年初第一次来张家港银行,那时开发人员对分布式数据库根本无从下手,核心系统改造当时看来还是天方夜谭。 时间继续流淌,TDSQL inside之路还在继续: 平安银行信用卡A+新核心系统国产化,这是业界第一个将金融机构核心业务系统由国外大型机集中式架构迁移到国产分布式架构的成功案例;还有第七次全国人口普查 随着越来越多机构选择TDSQL,一个个大单的落地,越来越多国民级应用系统平稳运行在TDSQL之上,TDSQL给行业带来了对国产数据库的强劲信心。

    81920发布于 2021-09-10
  • 来自专栏SY小站的专栏

    迁移到k8s换成tomcat8 nginx报403

    022 fi 022是没问题的 看下tomcat的catlina.sh if [ -z "$UMASK" ]; then UMASK="0027" fi umask $UMASK tomcat8改成

    84320发布于 2020-06-29
  • 来自专栏云原生生态圈

    博客(halo)迁移到 K8s 上了

    characterEncoding=utf8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true' \ -- '; grant select,update,insert,delete,index on halodb.* to 'halo'@'%'; flush privileges; 配置持久化存储卷 在 k8s 中运行 halo,会涉及到主题、静态资源如上传本地图片等需要持久化到数据卷中,为了后期的数据迁移,需要配置持久卷存储这些数据,此处我们使用本地存储。 devopsman.cn.key --namespace blogs 配置ingress,提供外部访问方式 创建 halo.ingress.yaml 文件 apiVersion: networking.k8s.io

    49070编辑于 2022-11-02
  • 来自专栏YP小站

    K8S备份、恢复、迁移神器 Velero

    虽然可以通过Etcd v3备份与恢复来实现K8S集群备份,但是这种备份很难恢复单个 Namespace。 今天推荐 Velero 工具,它提供以下功能: 灾备场景:提供备份恢复k8s集群的能力 迁移场景:提供拷贝集群资源到其他集群的能力(复制同步开发,测试,生产环境的集群配置,简化环境配置) Velero default namespace 添加标签 $ kubectl label -n default namespace/default velero.io/exclude-from-backup=true 迁移场景 ,请注意,Velero不支持跨云提供商迁移持久卷。 当前使用velero迁移集群功能最完善的场景是在同一个云厂商的同一个region,可以恢复集群的应用和数据卷。

    8.9K20发布于 2020-07-01
领券