一、 产品定位与核心亮点 技术定义:腾讯云数据库 TDSQL(TDStore引擎)是 TDSQL 产品系的新一代关系型分布式数据库。 存储层:TDStore 存储引擎。 硬核指标 性能:单实例可支撑千万级QPS。 容量:单实例可支撑PB级别的存储量。 压缩率:对比InnoDB存储引擎,最高可实现高达20倍的压缩率。 解决方案:采用TDSQL TDStore方案的高可扩展集群架构、高压缩低成本海量存储引擎,并利用其支持Online DDL的能力。 成效: 成功管理单表超800亿行数据。 解决方案:迁移至TDSQL TDStore方案,利用其容器化开箱即用的便捷运维、对SQL友好(支持二级索引、分布式事务)、跨可用区高可用容灾以及高压缩低成本存储特性。
TDSQL新一代产品TDStore版,正是腾讯云数据库团队技术探索的最新体现。本次分享,腾讯云数据库专家工程师唐彦,将为大家介绍TDStore的新技术演进之路。 ,以下分享会以新敏态引擎或TDStore混合称呼该款产品。 基于刚才的诸多对比可以看出,我们不断地从客户的使用反馈中深挖为何我们需要做一个更新的引擎,以更好地解决客户的痛点,而腾讯新敏态的引擎TDStore可以更为契合地为客户解决哪些问题。 TDSQL 敏态引擎之存储层——TDStore TDStore作为分布式存储层,不但负责保存用户的数据,其设计中还是两阶段事务协调者的这一层,不同的数据是根据Raft协议分布在不同的节点,都是由Raft 结合下图所示,每个节点会开放两个端口:SQL端口;底层负责TDStore功能的KV RPC接口。
一、产品定位与核心亮点 腾讯云数据库 TDSQL(TDStore 引擎)是 TDSQL 产品系的最新一代关系型分布式数据库。 数据来源:腾讯云数据库 TDSQL(TDStore 引擎)产品介绍及典型案例材料。
TDStore架构介绍 TDStore 是腾讯面向金融级应用场景的,高性能、高可用的企业级分布式数据库解决方案,采用容器化云原生架构,提供集群高性能计算能力和低成本海量存储。 ,它向下层的 TDStore 发送事务相关的读写请求。 Write Fence 解决的是计算层 SQLEngine 与存储层 TDStore 联动的问题,我们需要在推进 SQLEngine 状态前让 TDStore 感知到相关情况。 TDStore Fast OnlineDLL新特性 从上面介绍我们可以看到,TDStore 如果在 OnlineDDL 中产生数据回填,采用的是托马斯写入法则(Thomas Write Rule)的方式进行批量回填 TDStore Online DDL的发展 TDStore 正在飞速发展,各项功能立足于用户的需求正在快速迭代与完善。
二、TDStore 架构介绍 图2-1 TDStore 是腾讯面向金融级应用场景的,高性能、高可用的企业级分布式数据库解决方案,采用容器化云原生架构,提供集群高性能计算能力和低成本海量存储。 三、TDStore 中的锁 TDStore 作为典型的分布式系统,不仅单个节点内要有并发访问控制的机制,跨多节点仍要确保满足互斥性(Mutual Exclusion),以防止多节点同时修改同一资源导致数据不一致 TDStore 具备自动死锁检测能力,默认回滚写数据量较少的事务并返回错误,这将释放该会话中的所有其他锁,以便另一个会话可以继续其事务。 3)tdstore_deadlock_victim(需超级管理员权限):当死锁发生时,决定选取哪个事务回滚【在 tdstore_deadlock_detect 死锁检测功能开启时,该参数才生效】。 可以通过查询performance_schema.data_locks、performance_schema.data_lock_waits 查看TDStore 持有锁和等待锁的会话信息【TDStore
在 TDStore 中负责数据智能调度的正是组件 TDMetaCluster(上图右侧,以下简称 TDMC),它是 TDStore 数据库实例的中心管控模块。 三、TDStore 集中分布式一体化 首先,基于业务规模评估:包括数据量、访问频率、响应时间及扩展性需求,选择匹配的 TDStore 规格。 至于其余两个挑战,则通过 TDStore 的智能调度机制来解决。接下来,我们将具体探讨 TDStore 是如何应对这些挑战的。 五、TDStore 数据智能调度 TDStore 通过多级规则体系实现数据亲和性调度。 有兴趣,希望获取更多产品咨询,请扫码与我们联系: ﹀ ﹀ ﹀ 1、TDStore 技术解读: 探索TDStore:Online DDL的技术演进与使用实践 2、TDStore 解决方案: 冷数据归档降本解决方案
TDSQL TDStore引擎为腾讯广告中台系统提供新一代数据库解决方案,实现业务目标。 解决方案 TDSQL TDStore引擎版是TDSQL产品系的最新一代产品,采用容器化云原生架构,100%兼容MySQL 8.0语法,原生Online DDL支持动态更改表结构,超高压缩比存储能力可支持海量存储 TDStore可很好的支持MySQL海量数据及敏态业务,本次实践中, TDStore为业务系统提供解决方案如下: 方案成效 TDStore解决方案有效解决业务问题,实现相关成效: 业务实现如单机MySQL 该业务系统集群自切换至TDStore以来,保持平稳运行,以及高效的业务响应。 ﹀ ﹀ -- 更多精彩 -- 冷数据归档降本解决方案 TDSQL TDStore引擎版替换HBase:在历史库场景中的成本与性能优势 大存储类数据库降本解决方案 存储空间降至1/6:TDSQL替换InnoDB
支持大部分DDL操作以Online方式执行 TDSQL新引擎TDStore 架构设计 TDSQL新引擎TDStore架构分为三个核心模块,分别为计算模块SQLEngine、存储模块TDStore、管控模块 TDSQL新引擎TDStore 无感知扩缩容 无感知扩缩容是TDSQL新引擎TDStore最重要的特性,其通过存储层TDStore和管控模块TDMetaCluster的配合来完成。 迁移结束后,这4个Region在新增的TDStore4以及之前的三个TDStore之间,Region的数量都已经达到均衡。数据存储在不同的TDStore节点上达到均衡,并不意味着负载就真正均衡。 因为TDStore是基于一主多备的形态,而Raft协议的原则是读写请求都会由Leader节点来承担,TDStore1上现有两个Leader,分别是Region1和Region4的Leader,但TDStore4 假设4个Region上的读写请求的流量都一致,这时TDStore1上承载的读写请求会多于TDStore4,因为TDStore4是一个单纯的Follower节点,它只需要从各个Leader节点上同步最新的
解决方案与成效: 存储空间降至1/6,查询提速8倍 TDSQL TDStore引擎是TDSQL 产品系的最新一代关系型分布式数据库,采用容器化云原生架构,提供集群高性能计算能力和低成本海量存储;支持原生 针对本次海量数据业务场景,TDStore实例采用48节点对等架构,并提供低成本高压缩存储引擎,帮助业务成功替换原MySQL InnoDB方案,实现大幅降本增效: ● 存储空间大幅节省:相较于使用2副本的 业务系统自2021年11月开始迁移到TDStore ,至今平稳运行。金融级海量数据业务场景的实践打磨,再一次证明了TDStore 的稳定可靠。 往期案例精选: TDSQL TDStore引擎版替换HBase:在历史库场景中的成本与性能优势
引入 TDSQL 新一代敏态引擎 TDStore 重构历史库 针对 HBase 的痛点,财付通采用 TDSQL 新一代敏态引擎 TDStore 进行替换。 TDStore 是 分布式关系型 MySQL 8.0 改造产品,兼具扩展性与 MySQL 兼容性。 迁移方案: 利用 DTS 数据传输服务导出 SQL 文件,结合 myLoader 导入或快照导出技术,实现从 TDSQL MySQL 集群/HBase 到 TDStore 的数据迁移。 迁移至 TDStore 后,时耗平均降至 6ms。 容量对比数据(单位:GB): HBase (先查索引表,后查主表): 5.5 TDStore 引擎: 6.5 TDStore 引擎: 5.0 TDStore 引擎: 4.5 TDStore 引擎: 4.0
一、 产品定位与核心亮点 技术定义: TDSQL(TDStore 引擎)是腾讯云 TDSQL 产品线下的最新一代关系型分布式数据库,底层采用容器化云原生架构。 二、 产品应用场景(痛点与匹配) TDStore 引擎主要针对以下三类典型业务场景及痛点提供支撑: 高并发读写场景 适用对象:银行交易账单、发票流水系统、网络爬虫数据、物联网数据。 存储层 (TDStore):采用 Multi Raft 协议,通过 RepGroup 和 Region 进行数据的分布式存储与管理。 解决方案:整体迁移至新 TDStore 方案。 总结:腾讯云数据库 TDSQL TDStore 引擎通过“多主计算+高压缩存储”的云原生分布式架构,在千万级并发与 PB 级存储场景下,为企业提供了兼容 MySQL 的零入侵迁移方案。
解决方案:TDSQL新一代敏态引擎TDStore的核心能力 TDSQL TDStore引擎基于云原生容器化架构,100%兼容MySQL 8.0语法,针对HBase痛点提供针对性解决方案: 简化运维:私有化部署基于腾讯云原生套件平台 数据迁移通过DTS(数据传输服务) 实现,从生产MySQL集群导出SQL文件,再通过myLoader工具导入至TDStore集群,或通过快照方式从HBase迁移,流程清晰。 量化收益:存储成本与查询性能双重优化 将还款记录业务从HBase迁移至TDSQL TDStore引擎后,取得显著量化收益: 存储成本降低:单副本(不含索引)数据压缩率达到25%,存储空间占用大幅下降。 “TDSQL TDStore引擎有效解决了我们历史库在性能、一致性和运维上的核心痛点,迁移过程平滑,收益立竿见影。” —— 成江东,财付通金融科技数据库负责人 技术前瞻:统一架构赋能多业务场景 TDStore引擎的成功验证了其在高压缩比、高性能历史数据存储场景的价值。
腾讯云数据库TDSQL(TDStore 引擎版)作为TDSQL家族的最新一代关系型分布式数据库,采用容器化云原生架构,具备集群高性能计算能力和低成本海量存储,为应对大规模部署奠定了基础。 目前,腾讯云数据库TDSQL(TDStore引擎版)已在腾讯内外部业务中使用,稳定支撑腾讯广告、腾讯游戏、腾讯计费等业务运行。 ﹀ ﹀ ﹀ 1.TDStore 技术解读: 探索TDStore:Online DDL的技术演进与使用实践 2.TDStore 解决方案: 冷数据归档降本解决方案 TDSQL TDStore引擎版替换HBase
报告标题:分布式数据库在大规模部署阶段的挑战与应对 发布机构:IDC(国际数据公司) 发布时间:2024年 行业标签:金融,政务,交通出行,电商,社交娱乐,零售,物联网 产品标签:#TDSQL #TDStore 报告目录 推荐腾讯云TDSQL(TDStore引擎版) 大规模部署面临的新挑战undefined 2.1 复杂业务下高并发读写及混合负载挑战undefined 2.2 海量历史数据迁移与管理难题undefined 采用透明分布式设计,100%兼容MySQL语法,实现单机至分布式的无缝迁移(来源:TDStore引擎版特性)。 为什么选择腾讯云 技术先进性:TDSQL TDStore引擎版采用容器化云原生架构,支持多主读写、透明分布式与在线DDL,具备处理高并发海量数据的核心能力。
引入 TDSQL TDStore 敏态引擎重构底层存储 为彻底解决上述架构痛点,业务团队引入基于容器化云原生架构的 TDSQL 新一代敏态引擎 TDStore,全面替换原有 HBase 历史库集群。 量化核心业务系统的数据查询与存储效能 经过架构替换与业务割接,基于 TDSQL TDStore 引擎的还款记录历史库在系统性能、存储成本与开发规范上实现了精确的量化收益: 执行时耗大幅缩减: 摒弃了原先 数据规范与研发提效: 迁移后,上下游数据库(TDSQL MySQL 与 TDStore)保持了完全相同的字段类型定义和字符集定义,彻底消除了字符集转码及应用层数据校验的开发冗余,极大简化了业务开发难度。 构建云原生兼容与极致压缩的底层数据基座 在金融科技业务向海量数据精细化运营演进的过程中,选择 TDSQL TDStore 的核心逻辑在于其精准弥合了“关系型数据库的开发体验”与“NoSQL 数据库的存储成本
构建一体化对等架构与透明分布式引擎 为应对上述业务挑战,腾讯云推出新一代敏态引擎 TDSQL TDStore,通过软硬件结合与内核级创新,提供强一致、高兼容的底层数据解决方案: 强一致透明分布式引擎: 一体化对等架构设计: 创新性地将计算模块(SQLEngine,多主架构/多点写入)与存储模块(TDStore,基于 LSM-Tree KV 引擎)融合在 Hypernode 节点中。 量化压测指标与存储压缩业务收益 TDSQL TDStore 在提升吞吐量、降低查询延迟及压缩存储成本方面,提供了明确的量化业务价值。 1. 实际数据量对比:10亿条数据在 TDSQL (InnoDB) 中占用 1810 GB,在 TDSQL (TDStore) 中仅占用 348 GB。 依托底层技术创新夯实企业级数据基座 选择 TDSQL TDStore 的核心逻辑在于其以确定的技术路径解决了分布式数据库领域的多个工程难题。
管控节点TDMetaCluster首先会向region副本所在的存储节点TDStore下发分裂任务,将数据量超过阈值的region一分为二。 也就是说,分裂只能够让每个TDStore节点上的region数量增加,region变得更均匀。要想达到水平扩展的效果则需要接下来的迁移任务,韩硕老师也详细分享了迁移任务实现的具体流程。 (snapshot data)过来,形成临时的有序SST数据文件,然后将这些临时SST数据文件插入到新增的TDStore节点的LSM-tree的合适位置,从而完成数据的迁移。 迁移任务实现了数据以region副本的形式在新旧TDStore节点之间的自动均衡,即存储节点集群的水平扩容。 因此我们对每个region不同角色的副本的开销负担进行统计预估,然后通过下发切主任务,让开销热度较大的leader副本尽量均匀分布在不同的TDStore节点上,将热度打散,从而达到负载均衡。
假设后端有两个敏态引擎存储节点即TDStore,第一个TDStore上Region的范围为0x01-0x02,这样两个记录的主键就存储在TDStore1上。 第二个TDStore上的Region的范围是0x02-0x03,这两个值的二级索引存储在TDStore2上。 表t的主键索引ID为0x01,于是计算层编码查询Key为0x0102,计算层再根据路由表可知该值在TDStore1上,于是通过RPC将值从TDStore1上读取出来,该值value为0x020302,再将其反编码成 两个SQLEngine都同时发现在TDStore上Key:0x0103并不存在,于是都将Key:0x0103发到TDStore上要求将其写入,但它们对应的value又不相同,最终要保留哪条记录呢? 但这种做法带来的坏处是网络层次太多,首先两阶段的日志先发送到存储层TDStore的Leader,再同步到TDStore的Follow,然后才能进行真正的两阶段请求。
基于LSM-Tree与Multi-Raft的强一致分布式架构 TDSQL敏态引擎(TDStore)采用计算-存储分离的一体化对等架构,核心突破在于: 存储引擎革新:基于LSM-Tree结构的KV引擎实现高压缩存储 金融级场景验证引擎稳定性与性能 在金融支付场景中,TDStore通过数据感知调度技术,将商户余额表(低频更新)与流水表(高频写入)的关联数据就近分布,显著降低分布式事务比例。 技术核心:TDStore引擎通过LSM-Tree压缩、Multi-Raft协议、数据感知调度三大技术创新,为企业敏态业务提供高兼容、低成本、强一致的分布式数据库解决方案。
部署基于数据感知调度的 TDStore 引擎 TDSQL 推出的 TDStore 作为新一代敏态引擎,通过以下技术架构解决上述瓶颈: 一体化对等架构: 计算层(SQLEngine)完全兼容 MySQL 量化性能表现与关键业务价值 基于 Sysbench 标准测试(环境:3节点 32Core/64GB/350GB,v18.0.0),TDStore 展现出以下关键指标: 测试场景 并发数 QPS 平均响应延迟