首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Reinvent Data Science

    Chat with Milvus #11 回顾- 分布式数据库与Milvus分布式

    视频中我们分析了传统数据库的架构,挑战&解法、分布式数据库的优势与劣势,最后带出了我们对 Milvus 分布式的看法与规划。 视频中我们介绍了像是 AWS Aurora、PingCAP 与分布式数据库中间件 ShardingSphere 这些热门的技术,想了解数据库前世今生的你务必点开?的视频! ? github.com/milvus-io/milvus | 源码 milvus.io | 官网 milvusio.slack.com | Slack 社区 zhihu.com/org/zilliz-11

    68420发布于 2020-05-18
  • 来自专栏麒思妙想

    OceanBase开源,11张图带你了解分布式数据库的核心知识

    蚂蚁集团自研数据库OceanBase已经开源,这对国产分布式数据库来说,是一个重磅消息。一直以来OceanBase作为商业数据库,披露的技术细节并不多,以后又多了一个可以拿来研究的优秀分布式数据库。 1 架构 主流的分布式数据库有两种架构,PGXC和NewSql。 虽然PGXC名字的由来是PostgreSQL组成的分布式数据库,但是使用其他单体数据库组成的分布式数据库,也可以理解为PGXC,比如Golden使用的就是mysql作为内核。 4.3 减少分布式事务 分布式事务的开销会远远大于本地事务,分布式数据库可以把频繁参与同一个分布式事务的数据调度到同一个分片上,这样就避开了分布式事务。 6 总结 本文主要从5个方面入手讲了分布式数据库的关键知识,欢迎大家批评指正。

    2.1K22发布于 2021-10-19
  • 来自专栏个人开发

    OceanBase开源,11张图带你了解分布式数据库的核心知识

    蚂蚁集团自研数据库OceanBase已经开源,这对国产分布式数据库来说,是一个重磅消息。一直以来OceanBase作为商业数据库,披露的技术细节并不多,以后又多了一个可以拿来研究的优秀分布式数据库。 1 架构 主流的分布式数据库有两种架构,PGXC和NewSql。 虽然PGXC名字的由来是PostgreSQL组成的分布式数据库,但是使用其他单体数据库组成的分布式数据库,也可以理解为PGXC,比如Golden使用的就是mysql作为内核。 4.3 减少分布式事务 分布式事务的开销会远远大于本地事务,分布式数据库可以把频繁参与同一个分布式事务的数据调度到同一个分片上,这样就避开了分布式事务。 6 总结 本文主要从5个方面入手讲了分布式数据库的关键知识,欢迎大家批评指正。

    2.4K10编辑于 2022-08-23
  • 来自专栏IT技术分享社区

    分布式数据库基础:分布式数据库故障

    分布式数据库系统常见的故障主要有事务故障、系统故障、介质故障、网络引起的故障。 事务故障:计算溢出、完整性破坏、操作员干预、输入输出报错等。

    2.7K00发布于 2021-02-08
  • 来自专栏ellipse数据库技术

    分布式数据库

    分布式数据库目标: 本地自治、非集中式管理、高可用性(最基本的特征) 位置独立性、数据分片独立性、数据复制独立性(分布透明性) 分布独立性、事务管理(复杂性) 硬件独立性、操作系统独立性、网络独立性、数据库管理独立性 用户无需考虑数据分片 位置透明性:用户只需考虑数据分片情况,无需考虑数据分片位置 局部数据模型透明性:既要了解全局数据的分片情况,还要了解各片段的副本复制 情况及位置分配情况 分布式查询: 用户与分布式数据库系统的接口 集中式数据库系统中查询代价主要是由CPU代价和I/O代价来衡量的 在分布式数据库系统中,由于数据分布在多个不同的场地上,使得查询处理中还要考虑站点处传输数据的通信代价 END

    2.5K20发布于 2019-09-09
  • 来自专栏idba

    Postgres 分布式数据库

    分布式数据库 聊起分布式数据库,大家第一印象估计是 谷歌的 Spanner ,以及 TiDB。 TBase 开源是一个值得肯定的事情,文档,社区支持等有一些列的支持动作,但是没有像某些开源分布式数据库做的那么活跃,社区,微信群,各种互联网公司试/使用,考试认证。

    2.8K31编辑于 2022-05-17
  • 来自专栏一英里广度一英寸深度的学习

    HBase 分布式数据库

    在5、6年前,我们就希望能用分布式存储和分布式数据库来替代集中存储,觉得分布式廉价,而且高可靠。 其实,分布式存储不能替代集中存储。如果你问一个老鸟,他会给你一个关键字--事务。

    2.7K20发布于 2018-09-12
  • 来自专栏pangguoming

    浅谈分布式数据库

    文章集中整理总结mysql分库分表开源产品,分布式数据库的设计,以及实际应用案例等相关内容,部分附上本文作者实际应用过程中的理解。 本文感谢sjdbc,mycat,姜承尧,林涛等文章提供的精彩介绍。 center 高 coding 异步补偿mongo,mysql,es功能开发 基于jmq platform 中 coding 代理层实现mongo和mysql版本互为主被双写(mongo主),异步写es 双11

    4K22发布于 2018-09-19
  • 浅谈分布式数据库

    1️⃣ 分布式数据库概念分布式数据库(Distributed Database) 是指数据库系统的数据存储在 多个物理节点上,这些节点通过网络协作,共同提供数据存储、查询和管理服务。 核心思想:数据 逻辑上统一、物理上分散与传统单机数据库相比:可处理更大规模的数据支持高并发访问提供容错与高可用性2️⃣ 分布式数据库特点特性说明数据分布数据按一定规则分片或复制到多个节点并行处理多节点同时处理查询和事务 ,提高性能高可用性节点故障时,其他节点仍可提供服务扩展性可水平扩展,增加节点提高容量和吞吐量一致性数据的一致性和完整性需要特殊机制维护3️⃣ 分布式数据库原理3.1 数据分布策略水平分片(Sharding HBase)AP 系统:保证可用性和分区容错(如 Cassandra)3.3 分布式事务保证跨节点操作的一致性常用协议:两阶段提交(2PC)三阶段提交(3PC)Paxos / Raft 共识算法4️⃣ 分布式数据库分类类型说明示例关系型分布式数据库支持 SQL,分布式事务TiDB、CockroachDBNoSQL 分布式数据库支持键值、文档、列族,水平扩展强MongoDB、Cassandra、HBaseNewSQL 数据库结合关系型 SQL 和分布式扩展能力

    40210编辑于 2025-09-02
  • 来自专栏用户8715145的专栏

    分布式数据库的含义与腾讯云分布式数据库排名

    分布式数据库作为云数据库的其中一种类型也是非常受欢迎的。现在我们就来讲讲分布式数据库的含义与腾讯云分布式数据库排名。 分布式数据库的含义 分布式数据库其实也可以说是非关联性数据库,也就是数据之间不存在二维表格的关联性的。 分布式数据库是通过将不同的数据整合在一起的数据库,而且它的表现形式也是各异的,有图文的形式,有表格的形式,有游戏的形式等等。 分布式数据库就是一个可以将不同地点的很多台计算机以网络的形式产生关联,然后共同组成一个完整的大型的数据库。因此分布式数据库非常的适用于大数据的公司,像是金融,电信,电商等行业。 腾讯云分布式数据库排名 腾讯云TDSQL数据库是腾讯自己研发出来的一款公布式数据库,在分布式数据库排名前三,属于云原生数据库。TDSQL数据库的深度性能比常见的MySQL数据库要好。

    2.4K30发布于 2021-10-18
  • 来自专栏全栈程序员必看

    分布式数据库CAP原理

    分布式数据库CAP原理 CAP简介 CAP理论 CAP总结 CAP简介 传统的关系型数据库事务具备ACID: (1)A :原子性 (2)C :一致性 (3)I :独立性 (4)D :持久性 分布式数据库的 CAP理论 CAP理论提出就是针对分布式数据库环境的,所以,P这个属性必须容忍它的存在,而且是必须具备的。 因为P是必须的,那么我们需要选择的就是A和C。

    1.2K10编辑于 2022-08-26
  • 来自专栏全栈程序员必看

    TiDB 分布式数据库搭建

    因为公司数据量比较大,一种方法是采用mycat这种数据库中间件的形式。但是感觉不是很方便。后来发现了TiDB打算,可以尝试试用一下。用datax把历史数据转入到TiDB中,然后在TiDB中进行分析。 第一步:现在台式机中的虚拟机中部署起来。 第二步:数据转移 第三部:测试性能,判断是否可用。

    2.1K20编辑于 2022-07-20
  • 来自专栏IT从业者张某某

    分布式数据库-课程总结

    能连接,能完成CRUD 能完成适当的高级查询就可 综合案例:大家去完成下 HBase列族数据库 简介 Hbase-Hadoop Database是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库

    54010编辑于 2023-12-18
  • 来自专栏黑客下午茶

    Citus 11 官方手册脑图 - PostgreSQL 超大规模分布式数据库解决方案上手指南

    官方手册:https://docs.citusdata.com 脑图大纲 入门 什么是Citus? Citus 可以扩展多远? 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re

    5.7K30编辑于 2022-12-07
  • 来自专栏PostgreSQL技术分享

    PostgreSQL:分布式数据库简史

    和F1,我觉得如果想搞懂分布式数据库,建议这几篇论文都看看,看过论文的都知道,spanner讲的主要是如何基于全局事务时间戳实现事务的MVCC,并且可伸缩、同步多副本的全球化分布式数据库分布式数据库要素 分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库。每个被连接起来的数据库单元称为节点。 分布式数据库有一个统一的数据库管理系统来进行管理,称为分布式数据库管理系统。 分布式数据库的发展 从具体数据库来看,牺牲事务的nosql比较容易跟分布式想结合,所以nosql分布式数据库较多,而关系型数据库受到分布式事务的限制,所以出现的比较晚。 分布式数据库的未来 今年参加中国数据库大会(DTCC)发现分布式数据库都在讲HTAP+云原生。

    1.8K31编辑于 2022-02-04
  • 来自专栏MyTechnology

    分布式数据库CAP原理

    因此牺牲C换取P,这是目前分布式数据库产品的方向。

    1.9K20发布于 2020-07-31
  • 来自专栏用户8715145的专栏

    分布式数据库有什么用?分布式数据库的总体特征有哪些?

    大数据时代对数据处理能力的要求比较高,因而衍生出了很多种数据处理软件,比如能够储存大量数据的数据库数据库分为很多种类型,传统数据库主要是集中式数据库,目前出现了新型的分布式数据库,下面为大家简单介绍分布式数据库有什么用 以及分布式数据库的总体特征有哪些? 分布式数据库有什么用 分布式数据库属于数据库的一种,其基本作用就是能够储存海量的数据,分布式数据库属于最新的数据库技术和新型网络技术结合的产物,除了能够储存数据外,还能够进行数据的管理和维护。 分布式数据库的总体特征有哪些 知道分布式数据库的总体特征,才能够对分布式数据库有更深入的了解,那么分布式数据库的总体特征有哪些呢? 1、数据具有较高的独立性。 上面分别为大家介绍了分布式数据库有什么用以及分布式数据库的总体特征有哪些,分布式数据库是相对于集中式数据库而言的和集中式数据,各相比分布式数据库分别有透明性、可靠性、可复制性等特点。

    2.8K10发布于 2021-10-18
  • 来自专栏数据和云

    史上最全分布式数据库概述

    分布计算主要体现在客户机/服务器模式的分布式数据库体系结构两个方面。 DTC 2019 之数据库技术实战线上峰会明日开始,本期请到中国银联团队主管周家晶来分享“中国银联自研分布式数据库实践” 详情:中国银联自研分布式数据库实践 - DTC数据库技术实战线上峰会 报名链接 分布计算主要体现在客户机/服务器模式和分布式数据库体系结构两个方面。 分布式数据库是数据库技术与网络技术相结合的产物,在数据库领域已形成一个分支。分布式数据库的研究始于20世纪70年代中期。 20世纪90年代以来,分布式数据库系统进入商品化应用阶段,传统的关系数据库产品均发展成以计算机网络及多任务操作系统为核心的分布式数据库产品,同时分布式数据库逐步向客户机/服务器模式发展。

    7.1K61发布于 2019-06-18
  • 来自专栏个人开发

    聊聊主流的分布式数据库

    后来分布式数据库逐渐成为解决数据一致性的选择,目前分布式数据库产品已经比较成熟,支持ACID事务,本文就来聊一聊分布式数据库。 总结 传统的分库分表架构不断演进,增加了协调节点,全局时钟,就演变成了PGXC架构,这是主流分布式数据库的一个分支。 在基于BigTable键值数据库的基础上增加事务支持,就演变成了NewSQL,是分布式数据库的另一个分支。 amazon推出Aurora分布式数据库并不算是上面2种架构的一种,并没有解决分布式场景下的写入压力,但也是一种分布式数据库的风格。 分布式数据库的产品已经很成熟,数量也很多,需要结合业务特性来做技术选型。

    2.2K21发布于 2021-01-05
  • 来自专栏架构驿站

    分布式数据库Couchbase 集群迁移

    本文主要介绍分布式数据库Couchbase 集群迁移方案之CBBACK/CBRESTORE ---环境描述:CentOS release 6.7 (Final) ---源主机IP:10.10.10.10 :10:39,380: mt cbbackup... 2016-01-03 11:10:39,380: mt source : http://10.10.10.10:8091 2016-01-03 11 -03 11:10:39,818: w0 sink : /home/ubuntu/(did_devices@10.10.10.10:8091) 2016-01-03 11:10:39,819: 2016-01-03 11:10:39,968: mt Starting new HTTP connection (1): 10.10.10.10 2016-01-03 11:10:39,973: mt :46:39,408: mt cbrestore... 2016-01-03 11:46:39,408: mt source : /home/ubuntu/ 2016-01-03 11:46:

    1.1K20编辑于 2021-12-09
领券