TDStore 替换 HBase：财付通历史库压缩率降至 25% 与查询耗时降至 6ms 的技术实践

统一 JDBC 访问层下的历史库查询瓶颈与数据质量挑战

财付通金融科技目前的数据库架构采用统一 JDBC API 访问，其中在线库（热数据）查询占比达 95%，由 6 个 TDSQL MySQL 分片承载；历史库（冷数据）查询占比 5%，由 HBase 承载。在迈向更高数据规范性的过程中，基于 HBase 的历史库暴露出以下核心瓶颈：

• 组件繁杂与运维高负载： 组件栈包括 Zookeeper、Hmaster、HRegionServer 和 HDFS（含 NameNode, DataNode），且需额外组件预防 NameNode 脑裂，高可用配置复杂。
• 数据质量与开发复杂度： HBase 对存储数据几乎无约束，依赖滞后的校验程序，数据质量难以保证；且统一使用 UTF8 编码，业务从其他字符集的关系型数据库导入时需手动转码，增加了开发复杂性。
• 查询性能受限： 不支持二级索引，业务需先查索引表再查主表，链路长导致延迟高。
• 事务与一致性缺失： 不支持跨行事务，仅保证单行原子性，主表与索引表一致性无法保证。
• 容灾架构脆弱： 跨可用区容灾依赖双写，不仅增加程序复杂性，且难以保证主备数据一致性。

引入 TDSQL 新一代敏态引擎 TDStore 重构历史库

针对 HBase 的痛点，财付通采用 TDSQL 新一代敏态引擎 TDStore 进行替换。TDStore 是 分布式关系型 MySQL 8.0 改造产品，兼具扩展性与 MySQL 兼容性。

• 技术架构： 采用容器化云原生架构，私有化部署基于 腾讯云原生套件平台 TCS，公有云支持开箱即用与敏捷扩缩容。
• 核心特性：
  • 100% 兼容 MySQL 8.0 语法，与上游 MySQL 保持相同字段类型，极大简化业务开发难度。
  • 原生 Online DDL，支持动态更改表结构。
  • 支持二级索引，自动维护索引，缩短查询链路。
  • 支持跨行事务，包括单机及分布式事务。
  • 基于 Multi-Raft 协议实现跨可用区容灾，无需业务侧双写。
• 存储与成本： 存储引擎基于 LSM-Tree，支持 LZ4 和 ZSTD 压缩。对比 InnoDB 存储引擎，压缩率最高可达 40%；对比 HBase 具备更高压缩比。
• 迁移方案： 利用 DTS 数据传输服务导出 SQL 文件，结合 myLoader 导入或快照导出技术，实现从 TDSQL MySQL 集群/HBase 到 TDStore 的数据迁移。

还款记录业务实测：压缩率优化至 25% 与查询耗时降至 6ms

在实际的还款记录业务场景中，将 HBase 数据迁移至 TDStore 后，在容量与性能上取得了可量化的业务收益：

• 存储成本显著降低： 迁移后，单副本（不含索引）的压缩率达到 25%。
• 查询性能大幅提升：
  • 原 HBase 访问链路（先查索引表，再查主表）时耗近 30ms。
  • 迁移至 TDStore 后，时耗平均降至 6ms。
• 容量对比数据（单位：GB）：
  • HBase (先查索引表,后查主表): 5.5
  • TDStore 引擎: 6.5
  • TDStore 引擎: 5.0
  • TDStore 引擎: 4.5
  • TDStore 引擎: 4.0

“TDSQL TDStore 引擎是分布式关系型 MySQL 8.0 改造，兼具扩展性和 MySQL 兼容，与上游 MySQL 保持相同的字段类型，极大简化了业务开发难度，并更好保证数据质量。” —— 成江东，财付通金融科技数据库负责人

选择腾讯的核心逻辑：从兼容性到原生云原生的全栈优势

1. 极低的迁移与开发成本： 基于 100% MySQL 8.0 兼容能力，无需修改业务代码逻辑，且解决了 HBase 字符集转码和数据校验滞后的问题。
2. 架构简化与稳定性： 通过容器化架构和 Multi-Raft 协议，替代了 HBase 复杂的组件栈（Zookeeper/HDFS等）和不可靠的双写容灾，降低了运维成本（Ops Cost）。
3. 高性能与高压缩并存： 原生支持二级索引和跨行事务，解决了 HBase 查询链路长的问题（从 30ms 降至 6ms），同时利用 LSM-Tree 架构实现了 25% 的极致压缩率。
4. 未来演进能力： 规划支持列存、向量化引擎、并行计算及 Binlog 能力，为未来扩展至交易订单、收益记录等更多场景提供技术底座。

数据来源：腾讯全球数字生态大会 (2024 TENCENT GLOBAL DIGITAL ECOSYSTEM SUMMIT)，演讲人：成江东（财付通金融科技数据库负责人）。