首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯云流计算 Oceanus

    TDSQL-subscribe-connector最佳实践(上)

    本文介绍了如何在 Oceanus 平台使用 tdsql-subscribe-connector 1 ,从 TDSQL-MySQL 订阅任务 2 创建,到 Oceanus 作业创建、最终数据验证,实现全流程的操作指导 例如,以下订阅任务中,就指定了同一个库下的多张表: [2-订阅任务-多表.png] 创建 Oceanus SQL 作业 创建 SQL 作业 目前 tdsql-subscribe-connector 仅支持在 earliest-offset / specific-offsets / group-offsets 的任何一种 'properties.bootstrap.servers' = 'guangzhou-kafka-2. cdb-dts.tencentcs.com.cn:321', -- 替换为您的订阅任务 Kafka 连接地址 'properties.group.id' = 'consumer-grp-subs-xxx-group_2' /document/product/849/71448 2 订阅任务: https://cloud.tencent.com/document/product/571/68060 3 数据传输服务 TDSQL

    1.1K100编辑于 2022-05-17
  • 来自专栏个人技术专栏

    【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless最佳实践

    借助《腾讯云TDSQL-C联合CSDN产品测评活动》,让我们来深入了解并实践一下TDSQL-C MySQL Serverless数据库,利用产品的资源用量低、简单易用、弹性灵活和价格低廉等优点和特性,赋能业务合理优化使用成本 CCU(TDSQL-C Compute Unit)为 Serverless 的计算计费单位,一个 CCU 近似等于1个CPU和2GB内存的计算资源,每个计费周期的 CCU 使用数量为:数据库所使用的 CPU 3.2 传统TDSQL-C Serverless架构中的自动扩缩容方案:而上图右侧TDSQL-C Serverless架构中,用户在购买时选择最小规格为1核2G,最大规格为4核8G。 2. 为了可以有效的进行测试观察结果,TDSQL-C MySQL Serverless选择了一个较大的算力弹性区间范围1,32,即最小可以是1核2G的云数据库服务器(可能会更小,0.1都可能存在),最大可能是

    14.8K861编辑于 2023-11-14
  • 来自专栏腾讯云数据库(TencentDB)

    HTAP大潮下,TDSQL的探索与实践

    同时,论坛上,腾讯云数据库高级工程师陈再妮带来了主题为“TDSQL在HTAP领的探索与实践”的演讲分享,以下为分享回顾。 后来,TDSQL-PG面向企业市场开放,在V2版本内核支持三权分立,加密脱敏等多项安全特性,在2018年实现数字广东等多个标杆客户应用;TDSQL-PG V3版本定位HTAP,并在2019年上线PICC 有了高效的全局查询计划以及数据重分布的技术支撑,TDSQL-PG就能很容易的发挥并行计算的优势,高效的完成 join 的过程。而在这个例子里面是按照B表的f2字段来进行重分布,来完成整个查询的。 2.  1 三、TDSQL-PG最佳应用实践 1. 微信支付 ?

    1.4K30发布于 2021-06-02
  • 来自专栏腾讯云大数据

    Flink 最佳实践TDSQL Connector 的使用(上)

    作者:姚琦,腾讯 CSIG 工程师 本文介绍了如何在 Oceanus 平台使用 tdsql-subscribe-connector [1] ,从 TDSQL-MySQL 订阅任务 [2] 创建,到 Oceanus TDSQL 的 binlog 数据,会通过订阅任务发送到 Kafka(这里的 Kafka 已经包含在订阅任务中,无需重新创建实例),然后 Oceanus 可以通过 tdsql-subscribe-connector earliest-offset / specific-offsets / group-offsets 的任何一种 'properties.bootstrap.servers' = 'guangzhou-kafka-2. cdb-dts.tencentcs.com.cn:321', -- 替换为您的订阅任务 Kafka 连接地址 'properties.group.id' = 'consumer-grp-subs-xxx-group_2' /document/product/849/71448 [2] 订阅任务:https://cloud.tencent.com/document/product/571/68060 [3] 数据传输服务

    1.7K20编辑于 2022-04-22
  • 来自专栏技术运维分享

    Code Review在TDSQL-C 的应用实践

    了解完code review及其难点后,接下来简单介绍下TDSQL-C以及code review在TDSQL-C存在哪些难点。 1.3 TDSQL-C是什么? 前面讲了TDSQL-C相对传统数据库的优势,那么接下来讲讲code review在TDSQL-C存在哪些难点? 架构的巨大改变带来了以下问题: TDSQL-C基于开源MySQL(系统复杂,项目总代码数百万级别),重构了日志系统,IO模块,事务模块,启动流程等多个模块,代码改动量巨大 TDSQL-C项目包括计算层 TDSQL-C CodeReview规范优化 前面介绍完了TDSQL-C的code review流程,接下来讲一下我们TDSQL-C在多年的code review实践中做的一些改进。 TDSQL-C使用入口请点击左下角【阅读原文】,欢迎大家使用!

    96650发布于 2021-07-12
  • 来自专栏腾讯技术工程官方号的专栏

    TDSQL在微众银行的大规模实践之路

    TDSQL noshard与shard模式 TDSQL提供了noshard与shard两种使用模式,如图2所示。 如图6所示: 图6 微众银行基于TDSQL的同城多活架构 我们采用同城3副本+跨城2副本的3+2 noshard部署模式。 同城3副本为1主2备,分别部署同城的3个IDC中,副本之间采用TDSQL强一致同步,保证同城3 IDC之间的RPO=0,RTO秒级恢复。 跨城的2副本通过同城的一个slave进行异步复制,实现跨城的数据容灾。 微众银行通过实践证明,TDSQL作为金融级的核心数据库,是完全胜任的。

    1.8K61发布于 2019-08-20
  • 来自专栏腾讯云数据库(TencentDB)

    直播预告 | TDSQL SQL引擎架构演进与查询优化实践

    直播互动福利:每晚直播间也同样会送出多份腾讯公仔,更有腾讯徽章、腾讯云代金券等好礼送上!快快预约报名吧! 扫码关注后回复「加群」 提前加入沙龙交流群 点击下方「阅读原文」,预约所有中意直播!

    55850发布于 2020-03-25
  • IT不打烊的tdsql_mysql学习记录2

    # 总用户数TOTAL_ORDERS=1000000 # 总订单数# 进度显示函数show_progress() { local current=$1 local total=$2 sleep $((attempt*2)) fi done echo "永久失败: $sql" exit 1}# 插入用户数据(单线程)echo "开始插入用户数据..."

    9900编辑于 2026-03-24
  • 来自专栏云计算行业

    TDSQL应用实践与人才培养 | 第641期预告

    数据库产品专家秦玮免费直播课程 戳【阅读原文】或识别【二维码】预约直播 具体报名认证考试详情请查看往期回顾  培训认证|腾讯云TDSQL、TBase初级认证发布,限时免费 2020-11-17

    29230编辑于 2023-05-29
  • 来自专栏金融级分布式数据库TDSQL

    亿级流量下平滑扩容:TDSQL水平扩容方案实践

    ,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。 本文将带来直播回顾第三篇《亿级流量场景下的平滑扩容:TDSQL的水平扩容方案实践》。 视频内容 话不多说,我们正式进入今天的分享。 接下来大家带着这些问题,下面我会介绍TDSQL如何进行水平扩容,它又是如何解决刚才说的这些问题的。 2 TDSQL水平扩容实践 首先我们看一下TDSQL的架构。 以上第三章我们比较详细地介绍了TDSQL整个水平扩容的一些原理,比如数据如何进行拆分,水平扩容实践,以及如何解决扩容过程中的问题,同样也介绍水平扩容以后带来的一些问题,TDSQL是如何解决的。 4.2 实践:什么时候扩容? 我们什么时候扩容?在TDSQL里面,我们会有大量的监控数据,对于各个模块我们在本地会监控整个系统的运行状态,机器上也会有各种日志上报信息。

    2.8K43发布于 2020-04-09
  • 来自专栏腾讯云数据库(TencentDB)

    一文详解TDSQL PG版Oracle兼容性实践

    语法差异对比 2. 语法差异对比 2.1 数据类型 Oracle中的许多数据类型都可以与TDSQL PG版相互对应。 Split时,数据库底层会创建出新的2个分区,将旧分区的数据按照大于/小于拆分点进行划分,分别插入不同的新的小分区,再删除旧分区。 比如在下图中,2019年12月、2020年3月的数据,都不属于已有的2020年1、2月的分区,因此这些数据会自动放在default子分区中。 以下图为例,目标是Merge到Test1中,但参考Test2的数据。如果能匹配上,就修改Test1里的数据,使数据与Test2的记录一致,如果不匹配,就把Test2的数据插入到Test1中。 最终执行的效果类似于Test1合并了Test2,将Test2中的数据Merge到Test1中。

    3.7K20编辑于 2021-12-15
  • 来自专栏腾讯云智能顾问

    【最佳实践】巡检项:TDSQL MySQL 版账号高危命令限制

    在日常数据库管理中,DROP,DELETE这类命令属于高危命令,因此需要各位注意并谨慎评估后操作。

    1.4K20编辑于 2022-04-28
  • 来自专栏年轻人怎么睡得着的

    ​【TDSQL-C MySQL实践】实现剪切板历史存储

    前言最近因为工作开始使用mac,但mac上没有windows上的剪切板历史功能,虽然mac有其他软件才能实现但是使用非常不习惯,本篇文章主要用python实现读取剪切板并上传到腾讯云的TDSQL-C MySQL 现在正赶上学生优惠可以超低价购入TDSQL-C MySQL,1c1g的一年仅需26元,并可以以此价格续费3次,也就是说104元可以4年,其10g的存储完全够用剪切板历史,还可以存储其他东西!! upload_msg.pyimport pymysql as MySQLdb import uuid sql_url = '**.sql.tencentcdb.com' # 这里填入之前的主机port = 2* cursor.execute( """INSERT INTO `pasteboard` (`uuid`, `content`, `ip`) VALUES ('{0}', '{1}', '{2}

    59480编辑于 2023-10-19
  • 来自专栏个人技术文章

    【腾讯云 TDSQL-C Serverless 产品测评】- 云原生时代的TDSQL-C MySQL数据库技术实践

    ---二、手册体验:在进行报名后,加入微信群,助手提供了2个实验手册用来体验TDSQL-C MySQL的一个简单入门,由于新电脑还没有装Ptyhon环境,所以,这里选择《Vue+Koa+TDSQL实现问答系统 2. 数据库、数据库管理工具的关系:图片 3. 图片手册中的mysql2在并发流量时,好像不是太好用,下次试试Java的多线程。 我也是在通过活动、自己动手操作手册、自己在项目中实践TDSQL-C MySQL 8.0,从0到1的由浅到深的了解,从一些论点实际去操作,了解到TDSQL-C MySQL确实能给我们的业务带来提效降本的方案 ,希望在以后能够在业务中去落地并实践TDSQL-C MySQL。

    14.2K2821编辑于 2023-08-30
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯云TDSQL斩获可信云技术最佳实践

    、128TB海量分布式智能存储、保障数据安全可靠等优势,在云原生数据库领域斩获2020-2021年度可信云技术最佳实践案例奖。 TDSQL-C 通过支持计算节点的快速弹性扩展和故障恢复。可以秒级完成纵向扩展 (Scale Up)和横向扩展(Scale Out)。 国内领先的第三方电子合同平台法大大的核心业务就运行在TDSQL-C上。 业务数据从MySQL数据库迁移至TDSQL-C后,法大大业务侧实现了零改造成本的迁移,不用做任何的改造即可实现海量历史数据的归档及实时查询。 TDSQL-C的云分布式存储服务的弹性及海量存储的能力很好地解决了传统MySQL存储容量的问题,而基于快照的备份方式也很好地实现了大数据量的备份及按时间点恢复TDSQL-C采用读写分离架构,支持应用服务器并发访问

    86140发布于 2021-07-29
  • 来自专栏腾讯云数据库(TencentDB)

    TDSQL 在微信支付数据密集型应用落地实践

    那微信支付应用TDSQL PG版的过程中经历了哪些故事?TDSQL PG版在微信支付系统中又有哪些典型应用案例呢? 1 微信支付与TDSQL PG版的陪跑历程 “如果要用一个形容词来描述微信支付与TDSQL PG版的关系,那就是‘你侬我侬’。” 在容量问题上,TDSQL提供了海量数据存储的在线线性扩容能力;在大商户的数据倾斜问题上,TDSQL基于双KEY分布等机制解决了数据存储均匀分布的问题;在分页查询性能问题上,TDSQL提供了基于Index 2 TDSQL PG版在微信支付的应用实践 近年来,TDSQL PG版助力微信支付构建数据密集型应用,持续拓展应用场景,在多个领域体现出比较优势,保证了业务的稳定性和连续性。 在此以报表系统和维表系统为例介绍TDSQL PG版在微信支付的应用实践

    93820发布于 2021-08-30
  • 来自专栏Lansonli技术博客

    腾讯云数据库TDSQL——博客数据库迁移实践

    博客banner6.jpg 博客数据库迁移实践 前言 延续之前博客的风格,留下两段语录 博主语录:一文精讲一个知识点,多了你记不住,一句废话都没有 经典语录:如果你认识从前的我,那么你就会原谅现在的我 一、产品概述 TDSQL-C MySQL 版(TDSQL-C for MySQL)是腾讯云自研的新一代云原生关系型数据库。 /document/product/1003/30488 二、 TDSQL简介 1、整体架构 2、组件 TDSQL整套系统包含的组件有: 组件缩写 组件名称 备注 Zookeeper zookeeper 1、登入腾讯云的集群控制台 登录 - 腾讯云 https://console.cloud.tencent.com/cynosdb 2、点击集群ID进入集群详细页,开启外部地址功能 3、创建数据库连接和数据库 6、访问测试 果然换了数据库基本上都是毫秒级别的打开速度,与之前对比快了好几倍 7、安全与监控 1)进入腾讯云的后台可发现,这个数据库是自带备份功能的,对数据安全有保障 2)平台里面还有个数据库智能管理

    5.8K43编辑于 2022-04-29
  • TDSQL数据库:Oracle高度兼容性与迁移实践

    一、 产品定位与核心亮点 TDSQL是腾讯自主研发的国产数据库,支持单机、集中式主备和分布式部署模式。其核心差异化卖点在于高度兼容Oracle语法,旨在实现从Oracle数据库的平滑、低成本迁移。 三、 应用框架和功能介绍 功能框架 TDSQL构建了驱动层、内核层、工具层三位一体的Oracle兼容架构: 驱动层:提供兼容的JDBC、ODBC、OCI、Pro*C驱动程序。 数据类型兼容:支持NUMBER、VARCHAR2、DATE、TIMESTAMP、RAW、ROWID等Oracle常用数据类型。 TDSQL-JDBC驱动:独立维护,兼容Oracle的绑定变量、块注释、数据类型映射及存储过程调用方式。 荣誉背书 (原文未提供具体荣誉奖项信息) 四、 典型案例 (原文未提供具体的客户名称及案例细节,以下根据迁移方法论部分概括实践路径) 案例背景:企业客户面临Oracle数据库迁移至国产数据库的技术挑战。

    21010编辑于 2026-05-30
  • 腾讯云TDSQL迁移替换成本最优选型实践

    本文将围绕语法兼容、工具链支撑、真实成本三大维度,结合实际产品表现与案例,拆解腾讯云TDSQL在迁移替换中的成本优势与选型方法。 依据行业实践,迁移成本可归纳为三大核心维度:评估与改造成本:涵盖源库兼容性扫描、SQL适配度分析、对象结构差异比对、性能基线采集,以及驱动更换、SQL微调、存储过程适配、函数映射、连接池更新,贯穿前期准备与适配阶段 三、主流产品迁移成本对比腾讯云TDSQL:金融级高可用与全栈国产兼容的分布式数据库语法兼容指标:TDSQL兼容SQL2016标准,支持JSON、空间类型、视图、存储过程等高级特性,对Oracle语法约99.4% 架构创新节约负载均衡与计算节点,缩短访问链路,降低响应时间;年运维成本降低近15%;福建海峡银行同等资源需求下每年节约800万元,持续提升降本增效作用;TDSQLTDStore替换InnoDB后,存储空间相比2副本 结合场景匹配技术路线:金融核心场景宜优先高一致性与强事务支持的产品,如TDSQL在银行、保险、证券领域的多案例已验证其在高可用与成本优化上的综合能力。

    30810编辑于 2026-05-07
  • 来自专栏腾讯云数据库(TencentDB)

    TDSQL全球灵活部署实践

    、CDB/CynosDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。 本文将带来直播回顾第七篇,分享TDSQL的部署实践。 ? 大家好,我是腾讯云TDSQL DBA毕汉斌。我们本次是围绕着TDSQL交付的话题分享三个方面内容。 1 PartⅡ TDSQL自动交付方案: 全球灵活部署,最快9分钟 ? 针对上述的挑战,TDSQL沉淀出了一套TDSQL自动化交付方案。 生产环境:生产环境中要求管理节点可以部署在三台或者五台虚拟机,但最好是跨三个机房,比如说“1+1+1”的模式或者“2+2+1”的模式,因为元数据集群是基于多数选举的机制来保障高可用,如果只有两个机房则会失去了本身容灾的意义 当前TDSQL维护了一套告警模板,也给客户提供了可配置的、定制化的选项,客户可以根据自己的实际情况进行告警策略的修改;同时提供基于实践经验积累的告警策略对比,以防用户做出不合理的修改,暴露告警策略的潜在风险

    1.4K30发布于 2020-06-24
领券