首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 到 TiDB:vivo 的 Hive Metastore 横向扩展之路

    以下文章来源于公众号 vivo 互联网技术 ,作者 Wang Zhiwen导读本文介绍了 vivo 在大数据元数据服务横向扩展道路上的探索历程,由实际面临的问题出发,对当前主流的横向扩展方案进行了调研及对比测试...为此,针对当前 MySQL 方案存在的严重性能瓶颈,HMS 急需一套完善的横向扩展方案来解决当前燃眉之急。...二、横向扩展技术方案选型为解决 HMS 的性能问题,我们团队对 HMS 横向扩展方案做了大量的调研工作,总体下来业内在 HMS 的横向扩展思路上主要分为对 MySQL 进行拆库扩展或用高性能的分布式引擎替代...Processing, HTAP) 的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。...TiDB & MySQL 上线前后数据同步架构在上述架构中,切换前唯一可写入的数据源只有源数据库主库,其他所有 TiDB、MySQL 节点都为只读状态,当且仅当所有 HMS 节点停服后,MySQL 源数据库从库及

    1.1K60

    数据库横向对比与前沿技术分析探讨

    2 数据库的进化路径 现代商业社会对数据库性能方面的要求推动了数据处理基础架构与技术的发展。...图数据库在传统意义上被归类为NoSQL数据库的一种(尽管这并不准确,如果从数据库标准的维度看,过去40年数据的发展只有2套标准,一套是SQL,另一套是GQL,即图查询语言,仅此一条就可以佐证图数据库会成为未来的主流数据库...图数据库终将独立成团,这是后话。) 其它的非关系型数据库在广义上还包含例如列数据库、宽表数据库、键值库(因其架构与接口简单,严格意义上并不算完整的数据库)、文档数据库、时序数据库等。...,还有那些在传统 SQL 数据库上或 NoSQL 数据库上搭建的各种非原生图。...目前业界图数据库的架构分为三类: 第一类是基于传统关系型数据库的图计算,代表产品诸如 Cosmos DB、Oracle PGX等; 第二类是基于 Hadoop/Spark 或 NoSQL 存储引擎的图数据库

    1K20

    MySQL数据库横向扩展:分库分表策略与中间件选型,应对海量数据的终极方案

    这种指数级增长对传统单机数据库架构构成了严峻挑战。MySQL作为全球最受欢迎的开源关系型数据库,虽然在中小规模场景中表现优异,但在应对海量数据和高并发访问时,其单机架构的瓶颈日益凸显。...这就凸显了数据库横向扩展(Scale-out)的迫切必要性。横向扩展通过将数据分布到多个数据库实例,使每个实例只处理部分数据请求,从而有效突破单机性能限制。...分库分表(Sharding)作为实现数据库横向扩展的核心技术,其基本思想是将大型数据库拆分为多个更易管理的部分,分布到不同的数据库服务器上。...MyCat 起源于阿里Cobar项目,是一个纯粹的数据库代理中间件,通过模拟MySQL协议实现对应用的透明化访问。...其优势在于多数据库支持,除MySQL外,还正式支持PostgreSQL、Oracle、SQLServer等数据库的分片和联邦查询。

    1.1K10

    MySQL数据库(一):安装MySQL数据库

    安装环境: 操作系统版本:RHEL 6.5 安装版本:MYSQL 5.1 升级版本:MYSQL 5.6 一、简述MYSQL 1.什么是数据库?...DB DataBase :数据库 依照某种数据模型进行组织并存放到存储器的数据集合 DBMS DataBase Manager System :数据库管理系统 用来操作和管理数据库的大型服务软件...DBS DataBase System :数据库系统 即DB+DBMS指带有数据库并整合了数据库管理软件的计算机系统 2.E-R数据模型 3.常见数据库软件服务商 甲骨文:MYSQL...[确定] 6.登陆mysql并查询当前数据库 [root@svr5 mysql]# mysql ERROR 1045 (28000): Access denied for user 'root'@'localhost...需要注意的是这里的root用户不是Linux系统的root用户,而是mysql数据库的管理员root。

    30K80

    MySQL数据库介绍——初始数据库MySQL

    写在前面: 哈喽大家好我是网络豆云计算运维人员,本系列文章主要给大家讲解MySQL数据库的一些操作,从入门到精通,本文讲解的是MySQL数据库的认识。和我一起进入数据库的世界吧!...一.数据库基础知识 Mysql是⼀个开放源代码的数据库管理系统(DBMS) ,它是由 Mysql AB 公司开发、发布并⽀持的。...Mysql 是⼀个跨平台的开源关系数据库管理系统,⼴泛地应⽤ 在 Internet 上的中⼩型⽹站公司开发中。 数据库是由⼀批 数据 构成的 有序 的 集合 。...它是由纵向的列和横向的⾏组成,⾏被称为记录,是组织数据的单位;列被称为字段,每⼀列表示记录的⼀个属性,都有相应的描述信息,如数据类型、数据宽度等。...mysql> CREATE TABLE student -> ( -> student_id INT UNSIGNED, -> name VARCHAR(30), -> sex CHAR(1),

    7.3K10

    组复制要求和限制 | 全方位认识 MySQL 8.0 Group Replication

    复制线程需要将主库的连接信息、同步主库的位置信息息和中继日志元数据信息写入到mysql.slave_master_info和mysql.slave_relay_log_info系统表中存放。...从MySQL 8.0.2版本开始,这两个系统变量默认值为TABLE(>=8.0.2版本默认值为TABLE,MySQL 8.0.3版本开始,不再推荐使用FILE设置值...执行DDL语句期间并行执行DML语句:在多主模式的组中,不支持在不同的组成员上对同一个数据库对象并行执行DDL和DML语句。...加密连接:从MySQL 8.0.16版本开始,MySQL Server支持TLSv1.3协议(前提是MySQL Server是使用OpenSSL 1.1.1或更高版本编译的)。...所以,在MySQL 8.0.16和MySQL 8.0.17版本中,虽然MySQL Server支持TLSv1.3协议,但由于组通信引擎不支持TLSv1.3版本协议,所以,组复制在这两个Server版本中仍然不能使用

    1.6K30

    【MySQL】数据库介绍以及MySQL数据库

    目录 数据库介绍 数据库概述 数据表 MySql数据库 MySql安装 登录MySQL数据库 ​​​​​​​SQLyog(MySQL图形化开发工具) 数据库介绍 数据库概述 什么是数据库(DB:DataBase...数据库的保护、维护 通信 数据库与数据库管理系统的关系 常见的数据库管理系统 MYSQL :开源免费的数据库,小型的数据库.已经被Oracle收购了.MySQL6.x版本也开始收费。...SQLite : 嵌入式的小型数据库,应用在手机端。 上课会学:MYSQL 这里使用MySQL数据库。MySQL中可以有多个数据库,数据库是真正存储数据的地方。...表记录与java类对象的对应关系 数据库跟数据表的关系:一个数据库中可以有若干张表 MySql数据库​​​​​​​ MySql安装 安装 参考MySQL安装图解.doc 安装后,MySQL会以windows...也可以在DOS窗口,通过命令完成MySQL服务的启动和停止(必须以管理运行cmd命令窗口) 登录MySQL数据库 MySQL是一个需要账户名密码登录的数据库,登陆后使用,它提供了一个默认的root

    30.3K21

    主流信创数据库横向对比与应用场景解析

    1、达梦 厂商:武汉达梦数据库股份有限公司 是否收费:收费 代表性产品:达梦数据库DM8,高兼容Oracle生态 是否支持HTAP:支持(TP为主,AP较弱) 是否支持非关系型存储:支持(有缓存、时序等数据库...政府、党政、电信、能源、运营商、金融等领域广泛使用 5、Oceanbase 厂商:北京奥星贝斯科技有限公司(蚂蚁集团控股子公司) 是否收费:社区版免费,企业版收费 代表性产品:OceanBase,兼容MySQL...6、TiDB 厂商:(PingCAP)北京平凯星辰科技发展有限公司 是否收费:社区版免费,企业版收费 代表性产品:TIDB开源、自研分布式数据库。兼容MySQL协议。...其他国产知名信创数据库还有腾讯云TDSQL、阿里云PolarDB、中兴的GoldenDB、星环科技ArgoDB和KunDB、崖山数据库YashanDB等,在此不详细介绍了。...6、TiDB则是PingCAP开源的分布式数据库,主要兼容MySQL,HTAP能力突出,在互联网、电商、SaaS公司中应用较多。 (正文完)

    1.2K10

    【Mysql】Mysql数据库基础

    2.数据库操作 2.1显示当前所有的数据库 SHOW DATABASES; 具体SQL语句操作: information_schema数据库是MySQL服务器的数据字典(保存所有数据表和库的结构信息...) performance_schema数据库是MySQL服务器的性能字典(保存全局变量等的设置) mysql 主要负责MySQL服务器自己需要使用的控制和管理信息(用户的权限关系等) sys是系统数据库...,包括了存储过程,自定义函数等信息 切记:这4个数据库是MySQL安装时自动创建的,建议不要随意的删除和修改这些数据库,避免造成服务器故障。...在创建数据库时,我们要指定字符集,这时我们一般指定utf8字符集,它可以包含非常多语言。而MySQL的utf8编码不是真正的utf8,没有包含某些复杂的中文字符。...mysql中不存在字符;所以可以用‘’或“”表示字符串。 3.3 日期类型 为了方便在数据库中存储日期和时间,MySQL提供了表示日期和时间的数据类型。

    5.5K10

    MySQL数据库基础(二):MySQL数据库介绍

    ​MySQL数据库介绍一、MySQL介绍MySQL是一个关系型数据库管理系统,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System...,关系数据库管理系统) 应用软件,它是由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品,MySQL 是最流行的关系型数据库管理系统中的一个。...二、MySQL的特点MySQL是开源的,所以你不需要支付额外的费用。MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。...MySQL Workbench(GUITOOL):一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。...四、MySQL数据库下载与安装1、下载MySQL是开源免费的,可以直接去官网下载最新版MySQL,下载地址如下:下载地址:MySQL :: Download MySQL Community Server

    4.7K21

    MySQL数据库基础(二):MySQL数据库介绍

    MySQL数据库介绍 一、MySQL介绍 MySQL是一个关系型数据库管理系统,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System...,关系数据库管理系统) 应用软件,它是由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品,MySQL 是最流行的关系型数据库管理系统中的一个。...二、MySQL的特点 MySQL是开源的,所以你不需要支付额外的费用。 MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL使用标准的SQL数据语言形式。...MySQL Workbench(GUITOOL):一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。...四、MySQL数据库下载与安装 1、下载 MySQL是开源免费的,可以直接去官网下载最新版MySQL,下载地址如下: 下载地址:MySQL :: Download MySQL Community Server

    4.2K11

    国产数据库厂商横向对比:技术、产品与品牌的多维较量

    金仓数据库KES则在保持自主内核的基础上,实现对MySQL、Oracle等主流数据库协议与语法的高度兼容,覆盖99%以上常用SQL语法。...金仓则在迁移工具链上持续打磨:配套迁移工具可自动识别MySQL对象结构、完成DDL/DML脚本转换、校验数据一致性,某省级农信社将127个MySQL业务库迁移至KES,平均每个系统改造工作量控制在3人日以内...三、产品使用稳定性:金融级考验下的真实表现 稳定性是数据库的底线,没有之一。 金融行业一直是国产数据库最严苛的“试炼场”。...金仓深耕数据库领域二十余年,服务政企客户逾万家。其“MySQL级兼容、企业级稳态、分析型弹性”的定位,正在吸引大量MySQL存量用户的关注。...GBase(南大通用)作为唯一的独立商用数据库厂商,打造了涵盖GBase 8s(事务型)、GBase 8a(分析型)、GBase 8c(智能分布式)的全栈产品矩阵,保持“中国分析型数据库市场国产数据库第一名

    2K10

    MySQL组复制(MGR)全解析 Part 9 MGR的要求和限制

    前期回顾 MySQL组复制(MGR)全解析 Part 1 组复制背景 MySQL组复制(MGR)全解析 Part 2 常用复制技术介绍 MySQL组复制(MGR)全解析 Part 3 组复制机制细节...监控MySQL组复制 MySQL组复制(MGR)全解析 Part 7 单主和多主模式介绍 MySQL组复制(MGR)全解析 Part 8 多主模式部署指南 这期的专题我们来介绍MySQL组复制相关的内容...11.12.14.30 10.10.10.12 rpl 从 rac3 11.12.14.39 10.10.10.13 rpl 从 前面我们说了如何部署MGR的单主和多主模式 这节总体来说下部署MGR有哪些要求和限制...ARCHIVE,MEMORY" 主键 每张表都必须定义一个主键或者等价的非空的唯一键 IPv4网络 服务器必须支持IPv4网络 网络性能 MGR组中的各个服务器必须相互联通且网络性能要求较高 1.2 数据库配置要求...Enterprise Audit and MySQL Enterprise Firewall MySQL 5.7.21以前,MySQL Enterprise Audit and MySQL Enterprise

    1.9K21

    MySQL数据库

    MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。...MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。 MySQL 是开源的,目前隶属于 Oracle 旗下产品。...MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL 使用标准的 SQL 数据语言形式。 MySQL 可以运行于多个系统上,并且支持多种语言。...MySQL 支持大型数据库,支持 5000 万条记录的数据仓库,32 位系统表文件最大可支持 4GB,64 位系统支持最大的表文件为8TB。...MySQL 是可以定制的,采用了 GPL 协议,你可以修改源码来开发自己的 MySQL 系统。

    16K30

    Mysql 数据库(一)—— 初识 Mysql

    Mysql 数据库(一)—— 初识 Mysql 本节内容大纲 ?   前一段时间 ,我们完成了 Java 集合与数据结构的学习 , 之后我们将进入 Mysql 数据库的课程中。...Mysql 我们之后学习的重点主要是Mysql数据库的使用 SQLServer:微软搞得一个数据库....Redis…等其他的数据库软件 4.关于Mysql   我们在之后的学习里主要是熟悉 Mysql 数据库的各种使用及练习   有同学就问了: 为什么 我们不用SQLServer 进行练习呢?   ...我们看到这里知道,Mysql 有客户端也有服务器,但谁才是 数据库的主体呢? 其实是 服务器!!...下一篇~ Mysql 数据库(二)—— 数据库基础 敬请期待~~ 谢谢欣赏! 未完待续…

    10.9K30

    mysql数据库

    一、基础 1、说明:创建数据库 CREATE DATABASE database-name 2、说明:删除数据库 drop database dbname 3、说明:备份sql server ---...排序:select * from table1 order by field1,field2 [desc] 总数:select count as totalcount from table1 求和:select...: 分离数据库: sp_detach_db;附加数据库:sp_attach_db 后接表明,附加需要完整的路径名 14.如何修改数据库的名称: sp_renamedb 'old_name', 'new_name...否,使用下列默认设置(推荐) (5) [下一步] 设置分发数据库名称和位置 采用默认值(6) [下一步] 启用发布服务器 选择作为发布的服务器(7) [下一步] 选择需要发布的数据库和发布类型(8)...我们现在选第一个也就是默认的快照发布(其他两个大家可以去看看帮助)(4)单击[下一步]系统要求指定可以订阅该发布的数据库服务器类型,SQLSERVER允许在不同的数据库如 orACLE或ACCESS之间进行数据复制

    15.8K71

    MySQL数据库1初识MySQL

    Mysql 一、数据库是什么? 字面意思:存数据的仓库 二、为啥使用数据库?...只有大学、政府用的比较多 oracle:甲骨文的,收费,金融公司(安全度高)、阿里 sqlite:小型的文件数据库,自己玩一玩 maridb:和MySQL一个人开发的 2.非关系型数据库 memcache...: 关系型数据库,把数据存在硬盘中 非关系型,把数据存在内存中(速度快) 四、数据库MySQL的架构 类似于socket的客户端和服务端 流程: 1.MySQL服务端先启动,监听在某一个特定的端口(3306...五、数据库的安装 windows 安装:去官网找资料(学习的方法)安装, MySQL软件官方下载地址(https://dev.mysql.com/downloads/mysql/),个人感觉下载压缩包版比下载安装包办的要好...5 输入mysql回车,如果成功,将出现MySQL提示符 >。 连接权限数据库: use mysql; 。

    14.3K20
    领券