云存储硬核技术内幕——(10)

在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。 这种冗余技术叫做RAID-0。 但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。

腾讯云数据库CDB技术演进之路

今天我和大家分享的主题是腾讯云云数据库CDB技术演进。 ? 　　这次我会从存储、复制和数据库引擎三个维度来介绍云数据库CDB技术演进。 要解决这三类人的问题，技术上就要搞定数据库内核和云化功能两件事情。数据库内核是可靠存储、高HA和高事务处理性能的基石，云化功能是解救DBA伤痛的灵方妙药。今天我们重点聊聊数据库内核技术。 很多人都好奇鹅厂的云数据库。谈起腾讯，都知道微信、QQ、游戏。其实腾讯不仅仅是一家社交娱乐互联网公司，也是一家云计算技术公司。 作为云计算关键服务的DBaaS-腾讯云数据库也是公司内比较亮眼的一个技术产品。 总体来讲，我们最新TXSQL版本现在自研技术有10多个，从社区移植的技术有30多个。

云数据库技术发展趋势

引言 数据库技术发展已达半个世纪之久，云时代开始以后，我们可以从全新的视角审视数据库等基础技术的过去和未来。 基于云计算，包括数据库在内的IT基础技术发生从技术形态到线上线下融合的大幅变化，数据库技术呈现从传统集中式到云时代分布式迁移替换的趋势，这也给国产数据库赋予机遇与挑战。 所以，云数据库做了什么得到了市场的认可？未来数据库发展趋势是什么？我们可以如何在新机遇下的云融合时代把握技术创新的脉搏？ 近日，腾讯云数据库TDSQL研发总经理潘安群在2024 GOPS全球运维大会上，围绕“云数据库技术发展趋势”进行了相关分享。 因此，云时代的技术发展与需求演进，指引未来云数据库技术朝向单一引擎极致化、多引擎智能融合一体化、服务交付等关键趋势发展。

精彩速递 | 腾讯云数据库10月刊

精彩速递｜腾讯云数据库10月刊

↓↓点击阅读原文，了解更多优惠

腾讯云数据库AI服务（TDAI）技术概要

一、 产品定位与核心亮点 腾讯云数据库AI服务（TDAI）是一套基于自研AI大模型的智能数据库运维与数据分析平台。 其核心技术属性为AI驱动的数据库治理与数据价值挖掘工具集，商业差异化卖点在于实现从“事后补救”到“事前预防+事中干预+主动服务”的智能运维范式转变，核心是用AI治理好数据库、让AI用好数据。 硬核指标 SQL抽取准确率：自研模型调优后，19个仓库SQL抽取平均准确率 > 95%，多个仓库达100%（来源：腾讯云数据库团队）。 风险治理效能：每周扫描次数100+，增量拦截风险SQL平均5-10个/次，实现周新增风险SQL清零。事前扫描能多识别22%的潜在风险（来源：腾讯云数据库团队）。 数据来源声明：本概要中所有数据及技术指标均引自腾讯全球数字生态大会中由腾讯云数据库副总经理罗云发布的演讲材料。

腾讯云数据库伍鑫：MPP数据库HTAP技术探索

本文根据伍鑫在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。 本期分享嘉宾 伍鑫 腾讯云数据库专家工程师 【嘉宾介绍】在数据库内核、数据复制、大数据计算等领域有丰富经验，曾发表多篇相关论文、专利。 加入腾讯前曾在IBM DB2团队工作多年，后加入Hashdata云数仓公司。加入腾讯后，负责TDSQL PG系数据库研发工作。 本文摘要：腾讯云TDSQL分布式关系型数据库是一款面向海量在线实时数据的MPP数据库系统。在面对实际业务HTAP混合负载时，不管是高并发的交易还是海量的实时数据分析，TDSQL都有足够能力处理。 以下为DTCC大会腾讯云数据库专家工程师伍鑫的演讲实录： HTAP概述 早在上个世纪九十年代，大家就在讨论存储模型到底是用行存还是列存，因为针对交易系统每列数据是紧耦合，按行组织数据效果在OLTP场景更好

今天，分享10+篇分布式云技术干货！

前言 分布式云作为一种新型的云计算服务，其意味着对于公有云、私有云和混合云的一种延展和聚集。在业界来看，分布式云形态本就是传统云形态和概念的深化，云上的用户可以运营在分布式云上。 分布式云是对用户更友好、更高效的云。 技术原理 腾讯云原生混合云-第三方集群弹EKS应对突发流量的利器 TKE 容器团队提供了一系列的产品能力来满足混合云场景。本文介绍其中针对突发流量场景的产品特性——第三方集群弹 EKS。 Clusternet 作为首批项目参与了《信息技术 开源 开源项目评估模型参考架构》测评，并成为通过评估的四个项目之一。 大数据云原生系列| 微信 Flink on Kubernetes 实战总结 白话边缘计算解决方案 SuperEdge 一文读懂 Kubernetes APIServer 原理 点个“在看”每天学习最新技术

HarmonyOS5云服务技术分享--云数据库使用指南

华为云数据库（CloudDB）在HarmonyOS中的使用指南 ​​嗨，开发者朋友们！​​今天咱们来聊聊CloudDB在HarmonyOS应用中的集成和使用技巧。 复合查询​​​​多条件组合​​（AND/OR逻辑）：// 查询价格在20到50之间的“数据库”相关书籍 query() .contains("bookName", "数据库") .greaterThan ("price", 20) .and() .lessThan("price", 50) .get(); // 查询价格<20 或 >50的“数据库”书籍 query() 排序与分页​​​​按价格降序排列​​：query() .lessThan("price", 50) .orderByDesc("price") .get(); ​​分页查询​​（跳过前5条，取10 条）：query() .lessThan("price", 50) .orderByDesc("price") .limit(10, 5) // limit(数量, 起始位置)

云开发数据库还能这么玩？10则数据库管理小妙招奉上！

前 言 数据好比互联网产品的“血液”，数据库的管理效率关乎一个产品甚至一项业务能否良好且高效地运转。在使用云开发时，如何通过云数据库来做好数据管理，为你的产品打通“任督二脉”？ 本文将介绍 10 种不同的云数据库管理小技巧，助各位开发者轻松玩转云开发数据库。 from=12763 技术文档：https://cloudbase.net/? 随着业务发展，技术选型从传统模式变为了云开发模式，应该如何将传统数据迁移到云开发呢？ 你可以在 MySQL 中，将数据导出为 CSV 文件的格式，并使用云开发提供的文件导入的功能，一键导入历史数据。 总结 本篇文章共介绍了10种不同的云开发数据库管理方式，借助这些能力，你可以轻松地满足业务对于数据管理的种种需求，在未来，云开发也将提供更多的数据库能力，帮助开发者更好的推进业务的发展。

阿里技术分享：深度揭秘阿里数据库技术方案的10年变迁史

如今，全链路压测技术已经成为阿里云上的一个产品，变成了更加普惠的技术服务更多企业。 随着阿里巴巴数据库规模越来越大，整个监控系统就成为了瓶颈，比如：采集精度，受限于系统能力，最初我们只能做到1分钟，后来经过历年的优化，我们把采集精度提升到10秒。 现在，TSDB已经是阿里云上的一个产品，而CloudDBA除了服务阿里巴巴内部数万工程师，也已经在云上为用户提供数据库优化服务。 10、2017-2018年：存储计算分离的技术突破 2017年初，集团高年级技术同学们发起了一个技术讨论：到底要不要做存储计算分离？由此引发了一场扩日持久的大讨论。 》 《阿里技术分享：深度揭秘阿里数据库技术方案的10年变迁史》 >> 更多同类文章 …… 附录2：大厂技术分享 《微信朋友圈千亿访问量背后的技术挑战和实践总结》 《腾讯技术分享：腾讯是如何大幅降低带宽和网络流量的

云数据安全与加密技术【数据库加密】

云计算、大数据等信息技术正在深刻改变着人们的思维、生产、生活和学习方式，并延深进入人们的日常生活。 云服务端加密服务是云上的加密解决方案。服务底层使用经国家密码管理局检测认证的硬件密码机，通过虚拟化技术，帮助用户满足数据安全方面的监管合规要求，保护云上业务数据的隐私性要求。 同时，云服务器密码机采用安全隔离技术，保障各VSM之间密钥的安全隔离。 但加密技术从数据加密位置一般分为应用层加密(如备份软件，数据库)，网关层加密(如加密服务器，加密交换机等)，存储系统加密和加密硬盘技术。 个人认为应用层加密技术意义和实用价值更大些，可以保证数据端到端的安全性，而不是只在存储侧或磁盘上数据是安全加密的。 更多数据加密内容，详见商业新知-数据库加密

腾讯云数据库产品体系与技术价值概要

一、产品定位与核心亮点 技术定义：腾讯云数据库是基于AI驱动的数据库产品体系，涵盖TDSQL（超大规模分布式关系型数据库）、TDSQL-C（云原生关系型数据库）、TDSQL Boundless（超高性能分布式集群 核心技术属性与商业差异化卖点： 行业首选：连续两年金融行业及银行整体市场份额第一名，服务中国TOP10银行比例70%，落地100+金融机构核心系统（数据来源：腾讯全球数字生态大会）。 （四）荣誉背书 市场认证：连续两年金融行业及银行整体市场份额第一名；亚太客户之选；腾讯云作为中国唯一云厂商入选Gartner® Peer Insights™《云数据库管理系统客户之声》报告。 某国有大行核心系统建设 背景：国有大行核心系统存在技术壁垒，需实现国产数据库替换与规模化部署突破。 解决方案：采用TDSQL超大规模分布式实例（超1000节点，国内最大分布式实例）。 （主讲人：王义成 腾讯云数据库总经理）

云原生数据库砸了 K8S云自建数据库的饭碗--- CXL内存技术

随着云数据库时代的来临，一个DBA的知识层次可以拉开水平的另一个阵地，在云。基于我已经在云上打拼了4年，虽然不是先行者，但我是一个开放思维的DBA的先行者，2月26日PolarDB大会其中有一个主题。 CXL 协议的低延迟、高带宽为针对远内存数据定制的索引设计提出了新的要求，可以充分利用新硬件设计的优势，提高索引管理的效率和可扩展性，从而提高 DBMS 的整体性能，CXL 提供的共享缓冲池为云原生数据库中进一步的计算 那么引入了这样的协议的云原生数据库有什么挑战？ （听话听音） CXL 引入了多层内存结构，包括近内存、远内存和共享内存，构建一个有效管理这些不同类型内存的混合缓冲池是一项挑战。 聪明的人看完上面的信息，应该已经对云原生数据库的优缺点或者系统的难点有了清晰的一部分认知了，可以总结出一句话。 ，serverless 目前还是CPU和内存绑定，后期就全部分离了，要怎么弹就怎么弹的时代很快会到来） 注： CXL 助力云原生数据库的四大特点 动态内存分配：CXL 2.0 规范通过单层 CXL 交换机的设计

云计算数据库迁移需要避免的10个错误

但是，很多组织在云计算数据库迁移期间存在一系列常见的误解和错误，这些问题将继续为其IT团队带来困扰。主要影响那些对云计算数据库迁移不熟悉的组织，但已将大量本地数据库迁移到云平台的公司也不能幸免。 当组织在云计算数据库迁移的早期识别并解决问题时，就能够在数据库即服务(DBaaS)系统出现问题时将其影响降至最低，并减少意外发生。以下是IT团队在进行云计算数据库迁移时需要避免的10个错误。 6.没有考虑云计算/本地数据库功能不匹配 组织的内部数据库功能与其对应的数据库即服务(DBaaS)功能之间可能存在显著差异。数据库即服务(DBaaS)供应商通常会提供本地/云计算数据库功能兼容性矩阵。 在日常运营期间，组织需要多少数据传输到云平台?数据库是否包含指向本地数据库的链接?将大量数据导入和导出平台云架构可能具有挑战性，尤其是在时间紧张的情况下。 10. 生产交接之后未通过审核 数据库即服务(DBaaS)平台不会向用户公开其基础架构。

腾讯云数据库携手ACMUG分享最新技术

，是面向开发者和数据库从业者分享技术干货，而本周四，ACMUG将联合腾讯云，邀请腾讯云的四位技术大咖给大家带来其精心准备的技术干货，一起为各位技术爱好者带来精彩的技术分享。 现任腾讯TEG云架构平台部数据库团队架构师，负责腾讯云CDB数据库内核的研发。 分享内容：腾讯云CDB内核在MySQL官方版本的基础上做了大量的新功能添加和性能优化，使得数据库内核能更为适用于云平台环境的同时，也大幅度提升了数据库内核的性能。 议题三：腾讯云高性能HTAP数据库的最佳实践 主讲人：李巍，腾讯云TBase高级工程师，腾讯TBase分布式数据库团队高级工程师。 扫描上方二维码，或点击阅读原文即可报名，同时搜索“tencentdbhelper”，添加数据君好友，回复“加群”还可进入腾讯云数据库交流群，和群友一起分享，一起讨论精彩直播和技术干货。

腾讯云TDSQL-C 全球数据库技术揭秘

本文内容节选自6月13日，由msup和高可用架构联合主办GIAC全球互联网架构大会，腾讯云数据库技术专家冉仟元分享的《TDSQL-C 全球数据库技术揭秘》案例实录。 01. 分享者 冉仟元，有10余年的数据库存储开发经历，曾供职于华为、阿里巴巴、字节跳动，2023年加入腾讯云数据库云原生研发团队，目前负责TDSQL-C（for MySQL）技术方向。 TDSQL-C是腾讯云自研的新一代云原生关系型数据库。融合了传统数据库、云计算与新硬件技术的优势，为用户提供具备高弹性、高性能、海量存储、安全可靠的数据库服务。 2021 发布Serverless版本，是国内首个使用Serverless架构的云原生数据库，为超10万企业用户及50万微信小程序开发者提供服务，助力传统企业数字化转型。 TencentDB   03.TDSQL-C 全球数据库核心技术解析 全球数据库架构 全球数据库是一个可跨城市、跨国甚至跨洲际部署的数据库网络集群，不同区域间有全量数据集，通过高效物理复制同步数据。

为云而生，云原生数据库TDSQL-C技术突破与演进

以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会日前在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从 我想先简单回顾下数据库技术演进的历程，数据库从技术的角度来讲，它是利用计算、存储、网络的能力对用户的数据进行存储和加工处理，数据库技术的演进也离不开基础设施和数据特征的变化。 彼时数据库管理规模的增大非常明显，因此引发两大挑战：1）如何让云上数以万计风格各异技术公司都能很好的应用云数据库；2）大规模管理下如何提高管理效率，数据库即服务就应运而生，这个时候，大家都想方设法的通过服务的方式规避在使用上的瓶颈 腾讯云原生数据库便捷部署，为用户提供高并发集群计算能力，高速的查询效率，帮助用户缓解业务压力，挖掘数据价值，以低成本享受专业的数据库服务。技术与场景相融合，携手共创更大的商业价值。 ﹀ ﹀ ﹀ -- 更多精彩 -- 云原生数据库TDSQL-C PostgreSQL版内核解密 载誉而归 | 腾讯云原生数据库 TDSQL-C荣获“云原生卓越技术提供商”奖项 HTAP大潮下，TDSQL

hhdb数据库介绍(10-10)

功能入口： 在管理平台页面中点击配置->节点管理->"切换"使用须知：配置了数据节点高可用切换规则，且已经动态加载到计算节点 节点下主从、双主的复制关系已经搭建好，且复制延时时间不得超过10秒MGR节点不支持手动切换 若取消master_delay后的复制延迟仍大于10s，则不允许切换，master_delay也会恢复之前设置的值。 如果优先级最高的从存储节点不可用或延迟超过10秒，程序将从剩余切换规则中依次选择优先级最高的进行切换，如果均不可用或延迟超过10秒，则切换失败，提示错误（切换失败日志提示 switch datasource

云原生 DB 技术将取代K8S为基础云数据库服务-- 2025年云数据库专栏（一）

那么云，云数据库，云原生技术，会抢夺从业者的饭碗吗？ 会的，一定，且肯定，但这里的抢夺，需要说明。自从有人类，人类意识，这样的抢夺从未停止。 说到这里，还没有说到云数据库，云原生数据库和自建的数据库产品之间的区别 这里我们站到更高的视野或角度，也就是IT项目负责人或者公司的领导者的角度来看，而不是某个数据库技术工作者的角度来分析，因为那样既无聊也无效 3 成本与价格的核算的合理性 我们以云原生的技术与个人搭建的K8S数据库为例 1 云原生技术中的数据库产品可以应对更激烈的使用场合 举例： 1 扩充节点的迅速性，从目前部门的云原生数据库产品的技术能力 以前是大家都不能，但在云原生技术的驱动下，云原生数据库可以，而基于K8S的数据库技术不可以，那么基于K8S的数据库产品被淘汰在严苛的环境下是必然而不是偶然，如同我们不在使用的马车技术。 2 云原生技术中的数据库产品在同等服务的情况下，成本更低 举例： 云原生的产品和K8S搭建的数据库产品之间最大的优势是成本。