首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯云数据库(TencentDB)

    揭秘腾讯数据库主从架构 | 原生篇

    而在TDSQL-C for PG 的计算-存储分离架构里,数据库实例共享同一份数据,一主多读的设计与传统数据库相比也有很大差异。 本文将由腾讯数据库专家工程师邹立贤为大家带来TDSQL-C PG版的主从架构详解。 TDSQL-C PG版整体架构 为什么我们要做TDSQL-C这款产品? 这是为了防止断电情况下可能产生数据页面的半页问题,而在我们这种架构下不需要这个,可以减少很多日志。 第三点是快速启动系统。在启动时不需要恢复XLog,可以很快的将数据库启动起来提供服务。 第二个是由于我们横向扩展能力强,所以从提升主时也不需要来恢复日志,在提升数据库可用性这方面比传统PG好很多。 接下来介绍主从架构里边多个节点并恢复日志的实现。 从机并行合并日志,这个图里画的是ABCD有这么四个数据块,每个块上面是括号里的值表示的是当前数据块日志应用到的位置,11、17、15、9,它们表示的就是当前数据块应用位置。

    3.7K20编辑于 2022-03-28
  • 来自专栏用户8411301的专栏

    课堂 | 原生MYSQL数据库架构分享

    什么是原生数据库 原生定义 原生技术使组织能够在公共、私有和混合等现代动态环境中构建和运行可扩展的应用程序。容器、服务网格、微服务、不可变基础设施和声明式 API 就是这种方法的例证。 原生数据库特性 1. 高扩展性:需要能够根据业务需求,利用计算的策略对数据库进行扩展,包括硬件资源、集群规模,通常包括滚动升级、实例扩缩容等 2. MYSQL数据库 MYSQL介绍 主从架构— —概念binlog日志 MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间 状态管理层:状态值的检查和记录 原生MYSQL架构 KUBERNETES:集群层,提供容器运行环境 MYSQL-OPERATOR:负责MYSQL集群的运维工作 MYSQL集群:MYSQL运行实例 中间件管理平台 原生监控支持 常见的Prometheus + Grafana + Alermanager架构 实时容灾能力 实现了跨机房的MYSQL容灾。

    3.4K20编辑于 2022-03-24
  • 来自专栏凯云实验室

    可验证数据库架构与设计

    计算和互联网的发展已经在计算、存储、网络等方面为数字资产积累了强大的基础设施,只是它们目前还不具备区块链的一个重要属性:可验证中立。 再例如,本文要介绍的《Veritas:可验证数据库和表设计》。 可验证表是在表层次上创建了相同的抽象,这个表可以被共享,作为数据库不同实例的一部分——这些实例对共享表的操作就像操作一个单独表一样。 在图5的架构中,验证者可以通过批量处理他们的投票来进一步减少他们向区块链写入的次数。 图5 :验证架构 跨广域网络将可验证数据库的日志拆解到验证者的程序中是昂贵而缓慢的。 在区块链数据库领域,BigchainDB 是一个与Veritas类似的项目,但在架构上差别很大。

    1.2K30编辑于 2022-04-02
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯国产数据库CynosDB架构分享

    目前在腾讯从事CynosDB数据库研发工作。 ---- 2019年5月8日-10日,DTCC2019年中国数据库大会上,腾讯数据库高级工程师孙旭,受邀做了主题为《CynosDB for PostgreSQL一主多读架构》的技术分享,以下为大会现场演讲内容 孙旭在会议现场 本次大会我主要就腾讯自研数据库CynosDB做一个分享,详细讲一下它与传统的数据库的区别,重点分享CynosDB for PostgreSQL的架构及关键技术,一主多从的设计,以及我们做的一些性能优化 二、CynosDB for PostgreSQL架构-关键设计 1. CynosDB-原生数据库 ? 关注“腾讯数据库”官方微信,回复关键词“0517”,即可下载本文PPT。 往期推荐 《鹅厂老司机教你学习Innodb》 《腾讯数据库专家雷海林分享智能运维架构》 ?

    1.9K30发布于 2019-05-20
  • 来自专栏腾讯云数据库(TencentDB)

    精彩速递 | 腾讯数据库11月刊

    12.12直播预告  腾讯高级产品经理刘迪(迪B哥)社群直播来啦~千字干货详解AI在MySQL主从延时案例中的应用,12月12日18:00前均可入群,赶快报名吧~ ?

    1.2K10发布于 2019-12-17
  • 腾讯数据库11优惠体验与评测

    引言每年的双11购物节,除了电商平台的促销活动外,各大服务商也纷纷推出了各种优惠活动。作为国内领先的服务提供商,腾讯在双11期间推出了多项数据库服务的优惠活动。 每种数据库都有其独特的优势,适用于不同的场景。1.2 腾讯数据库的特点高可用性:腾讯数据库提供多种高可用架构,确保数据的安全性和可靠性。 二、双11优惠活动概述2.1 优惠内容在双11期间,腾讯数据库推出了多项优惠活动,包括:折扣优惠:部分数据库产品提供高达50%的折扣。 六、总结与建议6.1 总结通过对腾讯数据库11优惠活动的体验与评测,我们可以得出以下结论:腾讯数据库在双11期间提供了丰富的优惠活动,吸引了大量用户。 A1: 腾讯数据库的双11优惠活动通常从11月1日开始,持续到1111日。Q2: 如何使用代金券?A2: 在购买数据库服务时,系统会自动计算可用的代金券,用户只需选择代金券并确认支付即可。

    16.8K10编辑于 2024-11-28
  • 来自专栏腾讯云数据库(TencentDB)

    精彩速递|腾讯数据库11月刊

    ↓↓点击阅读原文,了解更多优惠

    54820编辑于 2022-12-15
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯超火开源数据库产品架构揭秘

    因此,腾讯数据库Tendis诞生了,今天,我们就结合视频,一起回顾腾讯数据库Tendis混合存储版的整体架构, 并且详细揭秘其内部的原理。 进入“腾讯数据库”公众号,后台回复“0331李景军”,即可下载分享PPT。 Redis&Tendis 使用 Redis 有哪些痛点? 二、缓存一致性的问题 对于 Redis + MySQL 的架构需要业务方花费大量的精力来维护缓存和数据库的一致性。 接下来我们对 Tendis 混合存储版的整体架构进行详细的解读。 去中心化架构 类似于redis cluster的分布式实现,所有节点通过gossip协议通讯,可指定hashtag来控制数据分布和访问,使用和运维成本极低。 4.

    1.4K30发布于 2021-04-19
  • YashanDB数据库原生架构的完美契合

    在现代原生架构的应用中,数据库技术的性能和可扩展性是关键挑战之一。如何在保障数据一致性与安全性的前提下,实现高效的查询、存储和分布式处理能力,成为数据库选型和架构设计的重要考量。 YashanDB作为具备多种部署形态、高性能存储引擎以及丰富优化策略的数据库产品,为原生环境提供了适配性强、性能卓越的数据库解决方案。 本文基于YashanDB的技术体系,深入分析其在原生架构中的优势和契合点,帮助开发者和DBA理解如何利用其核心技术实现环境下的高效数据库服务。 多样化部署架构满足原生弹性需求YashanDB支持单机部署、分布式集群部署和共享集群部署三种架构形态,涵盖从轻量级到海量数据处理的多个场景。 结论YashanDB数据库通过其多元化架构设计、高性能存储引擎、先进的优化算法与并行执行框架,以及完善的高可用和安全机制,与原生架构实现了高度契合。

    24410编辑于 2025-09-02
  • 来自专栏腾讯云数据库(TencentDB)

    腾讯自研数据库CynosDB存储架构揭秘

    本文作者:许中清,腾讯自研数据库CynosDB的分布式存储CynosStore负责人。从事数据库内核开发、数据库产品架构和规划。 曾就职于华为,2015年加入腾讯,参与过TBase(PGXZ)、CynosDB等数据库产品研发。专注于关系数据库数据库集群、新型数据库架构等领域。 企业IT系统迁移到公有上已然是正在发生的趋势。数据库服务,作为公有上提供的关键组件,是企业客户是否愿意将自己运行多年的系统搬到上的关键考量之一。 因此,数据库集群是很多IT系统绕不过去的坎。 CynosDB for PostgreSQL是腾讯自研的一款原生数据库,其主要核心思想来自于亚马逊的数据库服务Aurora。 下图为CynosDB for PostgreSQL的产品架构图,CynosDB是一个基于共享存储、支持一写多读的数据库集群。

    14.1K150发布于 2018-12-26
  • 来自专栏用户1880875的专栏

    Linux计算运维架构师(连载)缓存服务 Redis 集群-11

    PSYNC 实现了部分重同步(partial resync)特性:在主从服务器断线并且重新连接的时候,只要条件允许,PSYNC 可以让主服务器只向从服务器同步断线期间缺失的数据,而不用重新向从服务器同步整个数据库

    75910发布于 2021-07-07
  • 来自专栏大数据和云计算技术

    大数据时代数据库-HBase架构&生态&实践

    起初,一个创业公司的基本思路就是首先架构一个或者几个ECS,后面加入MySQL,如果有图片需求还可加入磁盘,该架构的基本能力包括事务、存储、索引和计算力。 Hadoop & Spark可以解决计算复杂性和灵活性,但是解决不了延迟的问题;HBase&分布式索引、分布式数据库可以解决灵活性与延迟的问题,但由于它没有很多计算节点,所以解决不了计算复杂性的问题。 ApsaraDB HBase产品架构及改进 应对的办法 我们也不能解决所有的问题,我们只是解决其中大部分的问题。 存储与计算分离:按需计费 优化性能:再把性能提升1倍左右 数据库基本部署结构 ? 大数据数据库的实际案例 以下简单介绍几个客户的案例,目前已经在上ApsaraDB HBase运行,数据量基本在10T以上: 某车联网公司 ?

    1.2K30发布于 2019-09-24
  • YashanDB数据库结合原生架构的最佳实践解析

    如何在原生环境中实现数据库的高性能、高可用与弹性扩展,是当前数据库技术发展的核心问题。数据库的查询性能、数据一致性保障以及运维自动化水平,直接影响到企业业务的响应速度和稳定性。 YashanDB数据库通过多样化的部署架构、完善的逻辑和存储体系,为原生架构提供了坚实的技术基础。本文将基于行业标准和技术原理,深入解析YashanDB结合原生架构的技术实现及最佳实践。 多样化的部署架构衔接原生弹性需求YashanDB支持单机部署、分布式集群部署及共享集群部署三种形态,满足不同原生场景的弹性需求。 结论随着计算和容器技术的普及,数据库系统面临着更加动态复杂的运行环境。 未来,随着数据规模与业务复杂度的持续增长,原生数据库优化技术将成为核心竞争力,YashanDB持续演进的技术架构为用户构建稳定、高效、可扩展的数据库平台奠定坚实基础。

    12110编辑于 2025-10-24
  • 来自专栏腾讯云数据库(TencentDB)

    数据库架构思维升级,看这篇就够了!

    在此次AS峰会上,腾讯数据库专家团亮相“数据库架构设计与技术演进”专场,由腾讯数据库专家工程师伍鑫担任专场出品人。 数据库作为基础软件的三驾马车之一,是IT行业的必争之地。 在专场中,四位讲师围绕数据库架构设计和技术演进,以腾讯数据库产品为例,针对性地解读数据库产品容器化难点、数据库统一管理、超大规模集群在线数仓架构设计等话题。 原生数据库管控 探索和实践 孙勇福,腾讯数据库专家工程师 技术变革日新月异,迭代迅速。孙勇福认为,多元技术融合、多元架构形态会成为未来的常态。 此外,孙勇福还分享了架构设计实现的具体细节,有想了解的小伙伴可入群与讲师讨论哦!入群方式:腾讯数据库后台回复【AS讨论群】即可。 基于上述问题,腾讯数据库升级了TDSQL新敏态存储引擎架构

    1.1K40编辑于 2022-09-01
  • 来自专栏胡彬的专栏

    腾讯分布式数据库 DCDB 架构解密

    腾讯分布式数据库是一个适用于OLTP场景且与MySQL 5.5 、5.6兼容的分布式关系型数据库。 下面主要介绍TDSQL的核心架构和应用场景。 腾讯分布式数据库解决方案: 简介: CDB for TDSQL的诞生经历了十余年: 2002年,基于运营商SP业务,腾讯数据库团队开始对 MySQL进行改造 2004年,腾讯互联网增值业务开始爆发 2015年,TDSQL正式进驻腾讯,并更名为腾讯金融级数据库CDB for TDSQL,开始面向腾讯之外的企业提供金融级数据库服务。 2017年,腾讯CDB for TDSQL更名为CDB for MariaDB,同时正式推出分布式数据库DCDB 架构: 系统由三个模块组成:Scheduler、Agent、网关,三个模块的信息交换都是通过

    4.5K10发布于 2017-06-23
  • 来自专栏编程一生

    系统架构11条原则

    原则三:分治原则 解析: 做架构时不要想着一次性把所有的功能都做好,要拥抱 MVP(Minimal Viable Product),最小可运行版本。 原则五:拥抱变化 解析: 重视架构扩展性和可运维性。无状态的系统的是可扩展的和直接的。任何时候都要考虑这一点,不要搞个不可扩展的,有状态的东东出来。否则,一旦需要改变,成本很高。 如果不能降低人力成本,反而需要更多的人,那么这个架构设计一定是失败的。 稳定性原则 原则八:依赖最简 解释: 依赖原则是去除依赖、弱化依赖、控制依赖。多一个依赖多一分风险。 实在不能弱依赖的,比如必须要调用加密存储来获取数据库的密码,不然无法连接数据库,可以控制获取密码在服务启动时进行,如果获取不到则服务启动失败,因为现在都是集群部署,一台无法启动不影响整体提供服务。 如果一件事情有可能发生则在生产环境中一定会发生,架构中要做好容错设计。 原则十一:用成熟的技术 解析: 不要给别人的技术当小白鼠,不要因技术本身的问题影响系统的稳定。

    69320编辑于 2022-05-06
  • 来自专栏超级架构师

    架构】通过新的优化视角查看架构

    为什么大多数架构都没有得到很好的优化? 在规划和设计阶段,大多数架构师都会按照架构课程中教给他们的内容来做,或者他们会将所读内容应用到大量的“如何”参考资料中,或者他们甚至会采纳从以前的架构项目和导师那里学到的技巧。 优化的架构实际上意味着什么?我在2020年10月定义了架构优化的过程,并包括了一个要利用的高级模型。我甚至扩展了我的架构课程,加入了这个概念,这个概念很快将在这里发布。 在开发过程中,团队专注于架构、迁移和网络新开发的方法,包括广域(元架构)和窄域(微云架构)。 QQ群 【792862318】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,计算,物联网,人工智能等各种新兴技术。

    1K10编辑于 2022-03-08
  • 来自专栏创作是最好的自我投资

    传统架构 VS 架构

    这种局面对传统架构产生了极为强烈的冲击,致使传统架构所固有的局限性愈发显著地暴露出来。那么,传统架构究竟存在哪些不足之处呢?与之相比,架构又具备哪些优势呢? 那么,架构是否已经把这些弊端都予以解决了呢?答案无疑是肯定的。随着计算技术的飞速发展,上Serverless高可用架构应运而生。 架构通过支持服务托管、弹性伸缩以及按量付费等功能,有效减少了企业在手动资源管理和性能成本优化方面的投入,从而显著降低了运维工作的复杂性和工作量。 此外,上高可用架构的专业服务维护工作由经验丰富的专业人员承担,他们在应对突发问题时能够迅速作出反应,显著提高了问题解决的效率,同时最大程度地减少了对业务的潜在影响。 综上所述,上高可用架构正是为了解决传统架构所面临的诸多挑战而设计的。在当今这个数字化高速发展的时代,选择架构无疑已成为企业迈向成功的关键一步,势在必行。

    51510编辑于 2024-12-31
  • 来自专栏Devops专栏

    11. 数据库事务

    11. 数据库事务 前言 上一章节,我们学习了数据插入的批量操作,那么下面再来认识一下数据库事务。 数据库事务 1. 数据库事务介绍 事务:一组逻辑操作单元,使数据从一种状态变换到另一种状态。 当一个连接对象被创建时,默认情况下是自动提交事务:每次执行一个 SQL 语句时,如果执行成功,就会向数据库自动提交,而不能回滚。 **关闭数据库连接,数据就会自动的提交。 当然有,这时候就要引入数据库的事务操作了。 2.1.2 考虑事务的转账操作 如果要使用事务,那么在操作数据库的时候,就要保持一个连接,在执行完毕之前,不能关闭资源。 持久性(Durability)持久性是指一个事务一旦被提交,它对数据库中数据的改变就是永久性的,接下来的其他操作和数据库故障不应该对其有任何影响。 数据库事务的隔离性: 数据库系统必须具有隔离并发运行各个事务的能力, 使它们不会相互影响, 避免各种并发问题。 一个事务与其他事务隔离的程度称为隔离级别。

    53810编辑于 2022-01-17
  • 来自专栏JAVA乐园

    架构: 数据库架构设计

    引言 本文介绍数据库中的架构设计; 通常,单机是无法满足大系统对数据库的读写要求的,必须用集群的方式来解决; 引入集群意味着提升了系统的复杂度,使系统变得复杂和不好维护; 通常采用数据库负载均衡策略、读写分离策略 、分库分表策略等加以优化; 负载均衡 扩展性强:当系统要更高数据库处理速度时,只要简单地增加数据库服务器就可以得到扩展; 可维护性:当某节点发生故障时,系统会自动检测故障并转移故障节点的应用,保证数据库的持续工作 IO压力,采取读写分离; 实现原理: 数据库服务器搭建主从集群,一主一从、一主多从都可以; 数据库主机负责读写操作,从机只负责读操作; 数据库主机通过复制将数据同步到从机,每台数据库服务器都存储了所有的业务数据 )读写操作全部指向主机,非关键业务采用读写分离; 分库分表 分数据库 是指按功能模块拆分到不同的数据库,比如分为订单库、商品库、用户库; join只适用于同一数据库的不同表联合查询,拆分后不同数据库之间无法用 join语句进行查询,只能分几次查询; 事务是同一数据库中的概念,要想在不同数据库之间实现事务的回滚,只能用查询log回滚的方式; 成本高,拆分到不同的数据库意味着需要建立多个备份数据库; 分数据库

    1.3K30编辑于 2022-03-08
领券