首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏云服务与SRE架构师社区

    国产分布式数据库架构初印象

    现在的分布式数据库基本上都借鉴Google的spanner/F1论文,采用paxos/raft协议来保证数据的强一致性,所以从架构上来都类似,可以明显区分出计算节点和存储节点。 但Oracle Exadata脱胎于集中式的共享存储,令人惊讶的是,它的架构与这些分布式数据库不谋而合。 下图是一个经典的Oracle体系架构图。 ? 图 1 硬件上它由至少2台服务器以及共享的存储组成,它们之间的通讯通过高速网络完成,软件上,一般是Oracle RAC。 图 2 共享的集中式存储变成了多个普通的x86存储节点,它和后面我们提到的share nothing的国产分布式数据库有很多相似之处。 TIDB TiDB是近几年很火的分布式数据库,它的架构最近似Oracle,下图和主要组件的解释来自官网。 ?

    4.3K34发布于 2020-01-15
  • 来自专栏胡彬的专栏

    腾讯云分布式数据库 DCDB 架构解密

    腾讯云分布式数据库是一个适用于OLTP场景且与MySQL 5.5 、5.6兼容的分布式关系型数据库。 下面主要介绍TDSQL的核心架构和应用场景。 在后续两年时间,陆续支撑米大师(Midas)、微众银行(WeBank)等多个兄弟业务的上线,并针对银行场景的数据关系模型设计了关系紧密的数据聚合,同时将跨节点的分布式架构转换扩展到单机架构,有效的覆盖了大中小多层次的用户 2017年,腾讯云CDB for TDSQL更名为CDB for MariaDB,同时正式推出分布式数据库DCDB 架构: 系统由三个模块组成:Scheduler、Agent、网关,三个模块的信息交换都是通过 2个IDC同时挂掉,系统还可以提供只读服务。当然业务可以根据自身需要增加更多的从节点,同时可以选择性的将读请求分到从机,进一步提高系统的可用性和处理能力。

    4.5K10发布于 2017-06-23
  • 来自专栏开发内功修炼

    聊聊分布式数据库TDSQL的技术架构

    在过去很长的一段时间里,这些行业选择数据库基本上就是 Oracle 和 IBM 的天下,各家企业在选型时基本就是 Oracle 和 DB2 之间二选一。 那么什么是分布式数据库,其分布式、强一致性、高可用以及无损升级等特性又是如何实现的呢。今天我们在这篇文中使用 TDSQL 技术架构来进行学习和理解。 传统的 Oracle 和 DB2 都属于传统的单体数据库架构。由于数据的进一步的大规模的增长,这种传统架构出现了不少的弊端。一个弊端就是扩展性问题。 SET 是分布式数据库实例。一个 SET 内部包含了 Master、Slave 节点。每个 SET 中存储哪些数据是由 shardkey 来进行分散的。 这种架构有点类似于微服务中 Mesh 架构 中用 Sidecar 把微服务框架功能独立出来一样。

    3.2K10编辑于 2023-12-11
  • 来自专栏架构驿站

    分布式数据库Couchbase 集群迁移-2

    在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移 其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。 在进行主题之前先补充一下分布式数据库 Couchbase 一些基本概念:在 Couchbase 的集群架构中,没有中心节点和 Router 的概念,这些工作是由 Smartclient 完成的,在客户端与 基本思路: 1、备份老的 Couchbase 服务数据 2、将新 Couchbase 服务器加入到老服务器集群中,并通过 Rebalance 同步两台服务器 Cache 数据

    80440编辑于 2021-12-09
  • 来自专栏后端从入门到精通

    分布式数据库-架构真题(二十六)

    3、(2018年)J2EE应用系统支持五种不同类型的构件模型,包括()。 A、架构设计 B、问题分析与建模 C、属性模型构造和分析 D、质量建模 答案:C 解析: 体系结构权衡分析法:场景和需求搜集、体系结构视图和场景实现、属性模型构造和分析中。 A、问题说明 B、问题建模 C、体系结构描述 D、需求建模 答案:C 解析: 场景架构分析方法主要输入是 问题描述、需求声明和体系结构描述。 还增加了几个模式级别,其中()定义分布式数据库中数据的整体逻辑结构,使得数据使用方便,如同没有分布式。 A、分片模式 B、全局外观模式 C、分布模式 D、全局概念模式 答案:D 解析: 分布式数据库在各结点独立,在全局统一。

    62210编辑于 2023-09-18
  • 来自专栏数据库架构之美

    金融级分布式数据库架构设计要点

    由于其分布式能力实现在不同的层次(应用层、中间层、数据库层),对应用程序有不同的侵入程度,其中分布式访问客户端对应用侵入性最大,改造难度最大,而分布式数据库方案对应用侵入性最小,但是架构设计及研发难度最大 分布式数据库总体架构 其实当前市面上的分布式数据库总体架构都是类似的,由必不可缺的三个组件组成:接入节点、数据节点、全局事务管理器。 这个架构或多或少都受到了google spanner F1论文的影响,这篇文章主要分析了这几个组件在实现上有什么难点,该如何进行架构设计。 ? 当然还有些数据库在dn层面引入了paxos、raft、quorum等的强一致方案,这也是在分布式数据库中很常见的设计。 No.2 如何做到在线扩容? No.2 GTM高可用的问题?

    2.9K61发布于 2020-01-17
  • 来自专栏数据库架构之美

    全面讲解分布式数据库架构设计特点

    分布式数据库总体架构 分布式数据库总体设计有两个思路和方向,一个是基于共享存储的架构(share everything),另一个是基于数据分片的架构(share nothing)。 共享存储的架构特点是底层存储共用一份数据池子,上层数据库server层可以弹性扩展,典型的案例像DB2 pureScale,Oracle RAC,阿里云PolarDB等,这种架构的好处是天然适合做云数据库 这种架构的数据库严格意义上不能称之为分布式数据库。 目前分布式数据库的总体架构设计基本都和下图相差不大,每种产品在不同组件的实现上存在差异,但大体架构上类似。 从图中可以看到分布式数据库三大组件:协调节点、数据节点、全局事务管理器。 下面分别介绍一下目前主流的分布式数据库架构以及设计差异。

    3.3K20发布于 2019-12-18
  • 来自专栏消息中间件

    分布式数据库中间件Mycat2

    /2.0/不提供安装包,只提供核心JAR包,JAR包可以独立运行,安装包是使用Java Service Wrapper做壳的,安装包请自己制作JAR可以作为Java库引入自己业务项目中使用,Mycat2中的各个组件的设计都是可以独立使用的 MySQL8设置时区验证在mycat里能查询的值是预期请使用以下方法设置输出日志遇上配置目录不生效的情况,修改jar内的日志配置文件例子https://github.com/MyCATApache/Mycat2/ issues/621或者启动的时候添加 -D参数一定要写在jar路径前面另外也可以把这个参数添加在wrapper.conf里面Mycat2随着发展使用了不同的日志框架到1.20为止使用slf4j接口框架

    35710编辑于 2024-05-10
  • YashanDB分布式数据库网络架构及安全策略

    随着数据规模的不断扩大和业务系统的复杂性增加,分布式数据库系统成为满足高性能、高可用和强一致性需求的关键技术。分布式数据库在性能瓶颈、数据一致性保证以及安全防护等方面面临诸多挑战。 YashanDB作为先进的分布式数据库产品,针对这些挑战设计了高效的网络架构和完备的安全策略。 本文旨在为开发人员和数据库管理员提供深入的技术分析,详细解析YashanDB的分布式网络架构和安全机制,助力读者理解其设计原理并应用于实际项目。一、YashanDB分布式数据库网络架构1. 通过这种层级分明的架构设计,YashanDB能够实现高效的资源调度与节点管理,满足海量数据的线性扩展需求。2. 结论本文全面解析了YashanDB分布式数据库的网络架构设计及安全策略,详细介绍了分布式部署模式、内部通信机制及主备复制网络;并深入阐述用户管理、身份认证、访问控制、加密、审计及反入侵措施。

    26610编辑于 2025-08-19
  • 来自专栏DDD

    架构架构2

    最近闲了,看了几次李运华关于架构的视频,不禁再次反问架构是什么?架构师的职责是什么? 对于这两个问题,之前也总结过一篇《架构架构师》[1],再结合他的专栏文章和视频,补充一下 架构 李运华给架构的定义:软件架构指软件系统的顶层结构,缩句成架构指结构,而结构的修饰语蕴含了太多东西,抽象不够直白 ,得行多少路,抽象了多少回,才有的认知,所以我也不打算靠记忆了,不过对于模块和组件的认知很独到 虽然架构定义众家纷说,但对于如何描述架构还是有共识的,那就是“4+1视图”,在《架构架构师》[2]也描述了 架构师在国内,大多时候可能不是个岗位,而是个角色。大厂还有架构师一说,小厂难得有专职架构师,所以架构师职能还得多多取经大牛,学习一下大牛 架构师能力模型 ? 这个过程,回顾最近几个系统设计的确是这样的 1.业务方提出一个业务,刚开始可能只是个目标,轮廓2.与业务方、产品不停的交流,交流得越深入,需求就越明确3.理解业务并明确需求后,划分模块,不管是传统画ER

    56210发布于 2021-03-23
  • 来自专栏AustinDatabases

    TIDB 初级课程体验 2 (分布式数据库引擎)

    TIDB 在TIKV 中的数据逻辑表的呈现是一个需要学习的地方, TIKV中行的信息是通过key value 来组成的, 而在逻辑和物理之间进行实现的过程中tidb做了如下的工作。

    73270发布于 2021-08-06
  • 来自专栏cwl_Java

    系统架构师论文-论分布式数据库的集成

    分布式数据库的集成 [摘要] 本文讨论了某公司发货系统的分布式数据库集成解决方案。该公司由于业务的发展,要在另三个城市设立货仓进行发货。为此,需要増加原先的MIS系统实现这一功能。 二是进行系统设计,改变后数据分布如何,系统架构如何。最后是实现和测试,上线。整个项目历时从分析到实现历时三个月,最后于2004年6月份系统成功上线。 所以,我通过研究Sybase的分布式数据库技术,决定采用CIS (组件集成服务)部件,来合并两个数据库成一个统一的分布式数据库。应用程序只要连接一个数据库,就可以透明统一访问到两个数据库中的数据。 所以,这种数据库结构是典型的分布式数据库。部署这种分布式数据库不是难事,只要在客户端和服务器上安装12.0版本以上的数据库服务器,在客户端服务器上建立远程服务名和代理表即可。 将XML用在分布式数据库中,将是未来的一个趋势。

    1.3K10发布于 2019-10-26
  • 来自专栏ops技术分享

    Angular 2 架构(上)

    Angular 2 应用程序应用主要由以下 8 个部分组成: 1、模块 (Modules) 2、组件 (Components) 3、模板 (Templates) 4、元数据 (Metadata) 5、数据绑定 实例 @Component({ selector : 'mylist', template : '<h2>菜鸟教程</h2>' directives : [ComponentDetails

    2.2K10发布于 2021-07-26
  • 来自专栏ops技术分享

    Angular 2 架构(下)

    ---- 服务(Services) Angular2中的服务是封装了某一特定功能,并且可以通过注入的方式供他人使用的独立模块。 服务分为很多种,包括:值、函数,以及应用所需的特性。

    3.2K20发布于 2021-07-26
  • 来自专栏charlieroro

    Cilium架构 (Cilium 2)

    Cilium架构 译自:http://docs.cilium.io/en/stable/architecture/ 本文档描述了Cilium的架构

    2.5K21发布于 2020-04-24
  • 来自专栏java学习java

    MySQL逻辑架构2

    缓冲池的预读特性: 2. 查询缓存 那么什么是查询缓存呢? 查询缓存是提前把 查询结果缓存 起来,这样下次不需要执行就可以直接拿到结果。 set global innodb_buffer_pool_size = 268435456; 3.4 多个Buffer Pool实例  innodb_buffer_pool_instances = 2 这样就表明我们要创建2个 Buffer Pool 实例。

    61820编辑于 2022-11-15
  • 来自专栏AustinDatabases

    TIDB 学习计划 --- 什么是分布式数据库和TIDB 整体架构

    TIDB 是一个分布式,强一致的可水平扩展的关系型数据库,在TIDB 设计之初,聚焦了四个设计的要点 1 水平扩展, 在设计之初水平扩展是最基本的需求,通过添加机器的方式扩展,存储的能力和计算的能力 2 高可用, TIDB 作为分布式数据库,节点众多,对于节点失效和数据库滚动升级,需要解决少量节点失效的问题 3 ACID 事务, 虽然部分数据库为了更高效的存储和处理数据,抛弃了SQL和事务,但在生产中的交易场景中 而是业务解决或者中间件解决,这样做比较难做到高效 4 SQL 支持,提供MYSQL 的支持,让整体使用数据库变得简单 下面是一张TIDB 的结构图 TIDB 存储引擎是TIKV 数据库存储引擎,采用了分层的架构来实现 1 transaction 2 MVCC 3 raft 4 local kv storage 容灾与特点 高度分层,底层为ROCKSDB,通过raft来进行数据存储的高可用, 高度分层的主要原因是可以更独立的进行层次的切换 具体可以参考下面的文档,总结出几句话 1 给与修改DDL 操作一个时间范围 2 在DDL 操作中,每个region都会提供两种状态,可以删除和可写状态 3 租约的概念,在系统中设定的租约到期后,需要重载

    1.5K30发布于 2020-06-23
  • 来自专栏愿天堂没有BUG(公众号同名)

    微服务架构实战:可扩展分布式数据库集群的搭建

    可扩展分布式数据库集群的搭建 我们所设计的每个微服务应用都能适应高并发的调用,所以它所连接的数据库也必须具有这种特性,才能组成一个高性能的有机整体。 需要指出的是,不管数据库的集群由多少分组组成,这种读写分离的高可用架构设计对于一个微服务应用来说是完全透明的。 微服务调用数据库的方式还是像以前一样配置-一个数据源进行访问,不同的是,只需将相应的连接地址改成这种高可用架构提供的VIP地址即可。 下面我们就从数据库的安装开始,按步骤讲解如何在分布式环境中实现高可用架构设计。 本文给大家讲解的内容是微服务架构实战:可扩展分布式数据库集群的搭建 下篇文章给大家讲解的是微服务架构实战:可扩展分布式数据库集群的搭建,OneProxy分库分区设计、双机热备设计; 觉得文章不错的朋友可以转发此文关注小编

    1.6K10编辑于 2022-10-28
  • 来自专栏金融级分布式数据库TDSQL

    腾讯分布式数据库TDSQL金融级能力的架构原理解读

    三月为TDSQL专题月,本文将带来直播回顾第一篇《腾讯自研分布式数据库TDSQL核心架构及特性拆解》。 视频内容 大家好,我今天分享的主题是基于计费海量场景自研演进的分布式数据库TDSQL的核心架构解读。 传统核心系统数据库长期以来一直是被国外的商用数据库所垄断,比如说ORACLE、DB2啊,像TDSQL这类分布式数据库是很难介入的。 三、TDSQL核心架构 接下来我们了解TDSQL的架构以及模块划分。 2.TDSQL架构模块及其特性 我们再看一下核心架构。核心架构其实是上一个图的缩览,我们把核心的模块挑选出来。 [wbmkvszttx.png] 首先用户的请求通过负载均衡发往SQL引擎。

    7.7K43发布于 2020-03-18
  • 来自专栏IT技术分享社区

    分布式数据库基础:分布式数据库故障

    分布式数据库系统常见的故障主要有事务故障、系统故障、介质故障、网络引起的故障。 事务故障:计算溢出、完整性破坏、操作员干预、输入输出报错等。

    2.7K00发布于 2021-02-08
领券