首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏架构驿站

    分布式数据库Couchbase 集群迁移-2

    在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移 其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。 在进行主题之前先补充一下分布式数据库 Couchbase 一些基本概念:在 Couchbase 的集群架构中,没有中心节点和 Router 的概念,这些工作是由 Smartclient 完成的,在客户端与 基本思路: 1、备份老的 Couchbase 服务数据 2、将新 Couchbase 服务器加入到老服务器集群中,并通过 Rebalance 同步两台服务器 Cache 数据

    80440编辑于 2021-12-09
  • 来自专栏消息中间件

    分布式数据库中间件Mycat2

    /2.0/不提供安装包,只提供核心JAR包,JAR包可以独立运行,安装包是使用Java Service Wrapper做壳的,安装包请自己制作JAR可以作为Java库引入自己业务项目中使用,Mycat2中的各个组件的设计都是可以独立使用的 MySQL8设置时区验证在mycat里能查询的值是预期请使用以下方法设置输出日志遇上配置目录不生效的情况,修改jar内的日志配置文件例子https://github.com/MyCATApache/Mycat2/ issues/621或者启动的时候添加 -D参数一定要写在jar路径前面另外也可以把这个参数添加在wrapper.conf里面Mycat2随着发展使用了不同的日志框架到1.20为止使用slf4j接口框架

    35710编辑于 2024-05-10
  • 来自专栏AustinDatabases

    TIDB 初级课程体验 2 (分布式数据库引擎)

    TIDB 在TIKV 中的数据逻辑表的呈现是一个需要学习的地方, TIKV中行的信息是通过key value 来组成的, 而在逻辑和物理之间进行实现的过程中tidb做了如下的工作。

    73270发布于 2021-08-06
  • 来自专栏IT技术分享社区

    分布式数据库基础:分布式数据库故障

    分布式数据库系统常见的故障主要有事务故障、系统故障、介质故障、网络引起的故障。 事务故障:计算溢出、完整性破坏、操作员干预、输入输出报错等。

    2.7K00发布于 2021-02-08
  • 来自专栏ellipse数据库技术

    分布式数据库

    分布式数据库目标: 本地自治、非集中式管理、高可用性(最基本的特征) 位置独立性、数据分片独立性、数据复制独立性(分布透明性) 分布独立性、事务管理(复杂性) 硬件独立性、操作系统独立性、网络独立性、数据库管理独立性 用户无需考虑数据分片 位置透明性:用户只需考虑数据分片情况,无需考虑数据分片位置 局部数据模型透明性:既要了解全局数据的分片情况,还要了解各片段的副本复制 情况及位置分配情况 分布式查询: 用户与分布式数据库系统的接口 (2)操作的执行算法(连接操作和并操作) (3)不同场地间的数据流动的顺序。 数据独立性:在集中式数据库中,数据独立性包括两个方面:数据逻辑独立性和数据的物理独立性。 集中式数据库系统中查询代价主要是由CPU代价和I/O代价来衡量的 在分布式数据库系统中,由于数据分布在多个不同的场地上,使得查询处理中还要考虑站点处传输数据的通信代价 END

    2.5K20发布于 2019-09-09
  • 来自专栏idba

    Postgres 分布式数据库

    分布式数据库 聊起分布式数据库,大家第一印象估计是 谷歌的 Spanner ,以及 TiDB。 其实还有另外一种分布式 Postgres-XC (目前已经迭代到 PostgreSQL-X2 ),Postgres-XC 数据库系统主要是基于水平可伸缩的share nothing 架构,支持全局事务 TBase 开源是一个值得肯定的事情,文档,社区支持等有一些列的支持动作,但是没有像某些开源分布式数据库做的那么活跃,社区,微信群,各种互联网公司试/使用,考试认证。

    2.8K31编辑于 2022-05-17
  • 来自专栏一英里广度一英寸深度的学习

    HBase 分布式数据库

    在5、6年前,我们就希望能用分布式存储和分布式数据库来替代集中存储,觉得分布式廉价,而且高可靠。 其实,分布式存储不能替代集中存储。如果你问一个老鸟,他会给你一个关键字--事务。 org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.5</version> </dependency> 2.

    2.7K20发布于 2018-09-12
  • 来自专栏pangguoming

    浅谈分布式数据库

    文章集中整理总结mysql分库分表开源产品,分布式数据库的设计,以及实际应用案例等相关内容,部分附上本文作者实际应用过程中的理解。 本文感谢sjdbc,mycat,姜承尧,林涛等文章提供的精彩介绍。 ---- 2、 基本概念 2.1 谈数据库分片需要首先确定以下概念 ​ 1) 单库,就是一个库  ? ​ 2PC? 3.5 小结 ​ 综上所述,最佳实践是合理地配合使用分库+分表。 3.6 如何自己实现分库分表? ​ 2) 把source从spring容器中拿出来,把表名当参数传进去,拼成分片后的sql。  ​ 为什么分片都是2的n次方?a % (2^n) 等价于 a & (2^n - 1) 其中一个原因就是位运算 扩容? 虚拟桶。 极限就是一片一库。

    4K22发布于 2018-09-19
  • 浅谈分布式数据库

    1️⃣ 分布式数据库概念分布式数据库(Distributed Database) 是指数据库系统的数据存储在 多个物理节点上,这些节点通过网络协作,共同提供数据存储、查询和管理服务。 核心思想:数据 逻辑上统一、物理上分散与传统单机数据库相比:可处理更大规模的数据支持高并发访问提供容错与高可用性2️⃣ 分布式数据库特点特性说明数据分布数据按一定规则分片或复制到多个节点并行处理多节点同时处理查询和事务 ,提高性能高可用性节点故障时,其他节点仍可提供服务扩展性可水平扩展,增加节点提高容量和吞吐量一致性数据的一致性和完整性需要特殊机制维护3️⃣ 分布式数据库原理3.1 数据分布策略水平分片(Sharding :CP 系统:保证一致性和分区容错(如 HBase)AP 系统:保证可用性和分区容错(如 Cassandra)3.3 分布式事务保证跨节点操作的一致性常用协议:两阶段提交(2PC)三阶段提交(3PC)Paxos / Raft 共识算法4️⃣ 分布式数据库分类类型说明示例关系型分布式数据库支持 SQL,分布式事务TiDB、CockroachDBNoSQL 分布式数据库支持键值、文档、列族,水平扩展强MongoDB

    40210编辑于 2025-09-02
  • 来自专栏用户8715145的专栏

    分布式数据库的含义与腾讯云分布式数据库排名

    分布式数据库作为云数据库的其中一种类型也是非常受欢迎的。现在我们就来讲讲分布式数据库的含义与腾讯云分布式数据库排名。 分布式数据库的含义 分布式数据库其实也可以说是非关联性数据库,也就是数据之间不存在二维表格的关联性的。 分布式数据库是通过将不同的数据整合在一起的数据库,而且它的表现形式也是各异的,有图文的形式,有表格的形式,有游戏的形式等等。 分布式数据库就是一个可以将不同地点的很多台计算机以网络的形式产生关联,然后共同组成一个完整的大型的数据库。因此分布式数据库非常的适用于大数据的公司,像是金融,电信,电商等行业。 腾讯云分布式数据库排名 腾讯云TDSQL数据库是腾讯自己研发出来的一款公布式数据库,在分布式数据库排名前三,属于云原生数据库。TDSQL数据库的深度性能比常见的MySQL数据库要好。

    2.4K30发布于 2021-10-18
  • 来自专栏全栈程序员必看

    分布式数据库CAP原理

    分布式数据库CAP原理 CAP简介 CAP理论 CAP总结 CAP简介 传统的关系型数据库事务具备ACID: (1)A :原子性 (2)C :一致性 (3)I :独立性 (4)D :持久性 分布式数据库的 (2)A(Availability):高可用性 可用性指“Reads and writes always succeed”,即服务一直可用,而且要是正常的响应时间。 CAP理论 CAP理论提出就是针对分布式数据库环境的,所以,P这个属性必须容忍它的存在,而且是必须具备的。 因为P是必须的,那么我们需要选择的就是A和C。 (2)选择一致性C,为了保证数据库的一致性,我们必须等待失去联系的节点恢复过来,在这个过程中,那个节点是不允许对外提供服务的,这时候系统处于不可用状态(失去了A属性)。 (2)CP – 满足一致性,分区容忍性的系统,通常性能不是特别高。 (3)AP – 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。

    1.2K10编辑于 2022-08-26
  • 来自专栏全栈程序员必看

    TiDB 分布式数据库搭建

    部署三个 PD,三个 TiKV,以及一个 TiDB,各个节点以及所运行服务信息如下: Name Host IP Services node1 192.168.199.113 PD1, TiDB node2 192.168.199.114 PD2 node3 192.168.199.115 PD3 node4 192.168.199.116 TiKV1 node5 192.168.199.117 TiKV2 node6 192.168.199.118 TiKV3 请按如下步骤 依次启动 PD 集群,TiKV 集群以及 TiDB: 在 node1,node2,node3 依次启动 PD . /bin/pd-server --name=pd2 \ --data-dir=pd2 \ --client-urls="http://192.168.199.114 192.168.199.114 TiKV1 node3 192.168.199.115 TiKV2 node4 192.168.199.116 TiKV3 请按如下步骤 依次启动 PD 集群,TiKV

    2.1K20编辑于 2022-07-20
  • 来自专栏IT从业者张某某

    分布式数据库-课程总结

    能连接,能完成CRUD 能完成适当的高级查询就可 综合案例:大家去完成下 HBase列族数据库 简介 Hbase-Hadoop Database是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库 '1','schoolinfo:name','Havard' put 'student', '1','schoolinfo:localtion','Boston' put 'student', '2' ,'baseinfo:name','jack' put 'student', '2','baseinfo:birthday','1998-08-22' put 'student', '2','baseinfo :age','21' put 'student', '2','schoolinfo:name','yale' put 'student', '2','schoolinfo:localtion','New baseinfo:birthday'} # 查看指定列两个版本的数据(3.3中我们设置了3个版本) scan 'student', {COLUMNS=> 'baseinfo:birthday',VERSIONS=>2}

    54010编辑于 2023-12-18
  • 来自专栏PostgreSQL技术分享

    PostgreSQL:分布式数据库简史

    存储数据库:Big Table;处理和生成超大数据集的算法模型:MapReduce,这些论文的思想诞生了Hadoop生态,也为分布式数据库做好了基垫,2012年Google又发表了2篇论文,分别是spanner 分布式数据库有一个统一的数据库管理系统来进行管理,称为分布式数据库管理系统。 比如允许2个节点同时更新状态会导致数据不一致,即丧失了C性质。如果为了保证数据一致性,将分区一侧的节点设置为不可用,那么又丧失了A性质。 这2个阶段。 (2)基于共享存储的分布式数据库 一般都采用存储和计算分离的架构,上层是支持MySQL协议的client,数据存储的底层是可动态扩容的分布式高性能存储,因为采用了计算和存储相分离的架构,计算层和存储层都可以动态扩缩容

    1.8K31编辑于 2022-02-04
  • 来自专栏MyTechnology

    分布式数据库CAP原理

    比如银行转账,从A账户转100元至B账户,分为两个步骤:1)从A账户取100元;2)存入100元至B账户。这两步要么一起完成,要么一起不完成,如果只完成第一步,第二步失败,钱会莫名其妙少了100元。 2、C (Consistency) 一致性 一致性也比较容易理解,也就是说数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。 因此牺牲C换取P,这是目前分布式数据库产品的方向。

    1.9K20发布于 2020-07-31
  • 来自专栏用户8715145的专栏

    分布式数据库有什么用?分布式数据库的总体特征有哪些?

    以及分布式数据库的总体特征有哪些? 分布式数据库有什么用 分布式数据库属于数据库的一种,其基本作用就是能够储存海量的数据,分布式数据库属于最新的数据库技术和新型网络技术结合的产物,除了能够储存数据外,还能够进行数据的管理和维护。 分布式数据库的总体特征有哪些 知道分布式数据库的总体特征,才能够对分布式数据库有更深入的了解,那么分布式数据库的总体特征有哪些呢? 1、数据具有较高的独立性。 2、能够进行数据的复制分布式数据库会进行数据的复制,这样可有利于性能的提高还能够满足不同用户的需求,假如某个服务器出现了故障,其他服务器上还会有数据的备份,所以不必担心会产生问题。 3、更具备可靠性。 上面分别为大家介绍了分布式数据库有什么用以及分布式数据库的总体特征有哪些,分布式数据库是相对于集中式数据库而言的和集中式数据,各相比分布式数据库分别有透明性、可靠性、可复制性等特点。

    2.8K10发布于 2021-10-18
  • 来自专栏数据和云

    史上最全分布式数据库概述

    分布计算主要体现在客户机/服务器模式的分布式数据库体系结构两个方面。 分布式数据库是数据库技术与网络技术相结合的产物,在数据库领域已形成一个分支。分布式数据库的研究始于20世纪70年代中期。 20世纪90年代以来,分布式数据库系统进入商品化应用阶段,传统的关系数据库产品均发展成以计算机网络及多任务操作系统为核心的分布式数据库产品,同时分布式数据库逐步向客户机/服务器模式发展。 (2)同构异质型DDBS:各个场地采用同一类型的数据模型,但是DBMS的型号不同,譬如DB2、ORACLE、SYBASE、SQL Server等。 DDBS的其他特点 (1)数据独立性 (2)集中与自治相结合的控制机制 (3)适当增加数据冗余度 (4)事务管理的分布性 DDBS的优点 (1)具有灵活的体系结构 (2)适应分布式的管理和控制机构

    7.1K61发布于 2019-06-18
  • 来自专栏个人开发

    聊聊主流的分布式数据库

    后来分布式数据库逐渐成为解决数据一致性的选择,目前分布式数据库产品已经比较成熟,支持ACID事务,本文就来聊一聊分布式数据库。 user1读取足球比赛成绩,比分4:2,1秒之后,user2读取比赛成绩,但user2读到的成绩是4:1,这样后读取的用户读取到的数据反而是旧的数据。 发生这个问题的原因就是多副本同步延迟,而线性一致性要解决的问题如下: 用户的读写请求顺序与实际的时间相一致 如果user1读取某一个key之前user2已经修改了key,那user1读取到的值一定是user2 amazon推出Aurora分布式数据库并不算是上面2种架构的一种,并没有解决分布式场景下的写入压力,但也是一种分布式数据库的风格。 分布式数据库的产品已经很成熟,数量也很多,需要结合业务特性来做技术选型。

    2.2K21发布于 2021-01-05
  • 来自专栏架构驿站

    分布式数据库Couchbase 集群迁移

    本文主要介绍分布式数据库Couchbase 集群迁移方案之CBBACK/CBRESTORE ---环境描述:CentOS release 6.7 (Final) ---源主机IP:10.10.10.10 0 | 0.0 msg : 0 | 0 | 0.0 . ... ... done 2

    1.1K20编辑于 2021-12-09
  • 来自专栏杨建荣的学习笔记

    分布式数据库是不同的

    关于分布式数据库与集中式数据库的不同,我上周已经发文讨论过了,今天我要讲的是另外一个问题,那就是不同的分布式数据库产品也是不同的。 2013年,我和一些准备开发一款分布式数据库的朋友在讨论这个产品的时候,实际上大家对数据库,特别是分布式数据库都不太了解。 有些基于Postgresql等开源代码的分布式数据库,比如Gaussdb就是这么做的。 因此存算分离的分布式数据库,能够以何种粒度下推算子与优化器的功力决定了最终的性能。对于存储节点是一个独立的数据库实例的分布式数据库而言,在最初的技术实现上,肯定下推的只是子SQL。 今天的讨论我主要想让读者了解,没有完美的分布式数据库架构,如果我们要来看一个分布式数据库的水平,不仅仅要看起实现架构,更重要的是要看其SQL引擎、CBO优化器和分布式执行器的能力。

    65921编辑于 2023-09-04
领券