首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏技术杂记

    RabbitMQ集群I10

    拆分集群 本地退出 有时我们有必要从集群中移出某个node,分三步 1 停应用 2 重置node 3 起应用 [root@h102 ~]# rabbitmqctl cluster_status Cluster running_nodes,[rabbit@h102]}, {cluster_name,<<"rabbit@h102.temp">>}, {partitions,[]}] [root@h102 ~]# h101上的集群状态

    19220编辑于 2022-05-04
  • 来自专栏全栈程序员必看

    H2数据库集群_数据库集群搭建

    H2集群 3.1 集群综述 数据库支持简单的集群/高可用性机制。 :h2-1.3.176 – JDK: 1.7.0_79 4.3 单节点单数据库集群对比 4.3.1 测试场景 测试场景1:起单个数据库服务,测试单节点下,操作简单SQL的性能;分别起N(1, 10 测试场景2:两台主机分别起两个数据库服务,并对其进行集群配置,操作简单SQL的性能;分别起N(1, 10, 100)个线程并发新增N(1万, 10万, 100万, 1000万)条记录。 4.4.1 测试场景 测试场景:两台主机分别起两个数据库服务,起10个线程不断执行以下语句,查询不同的数据条数(10万、100万)。 : 1.集群情况下,通过jmeter写入10万条数据。

    2.6K20编辑于 2022-11-04
  • 来自专栏大数据那些事

    LVS(10)——实现多集群功能

    在前面我们只运行了一个集群,所以只有一个http服务,通过前面的训练,我们可以适当加大难度,我们可以添设两种不同的业务。 (4)修改LVS的ipvsadm 首先先清空所有集群: ? 再添加集群: ? 检查路由转发是否开启: ? 通过windows去curl可以观察到两种服务都可以使用: ?

    60130发布于 2020-11-11
  • 来自专栏Golang语言社区

    数据库集群技术漫谈

    本篇文章将对集群的概念、形式以及目前主流的数据库集群技术进行探讨。 数据库集群的形式 数据库集群和扩展不像应用程序扩展那样容易,因为从数据库端来说,一旦涉及到了集群,往往会涉及到数据库层面的同步,因此从是否存在数据冗余这个角度来讲,我们可以从大面上把数据库集群分为以下两种形式 所谓负载均衡就是就是将对数据库的负载分布到集群中的多个节点上,在集群中的每一个节点都可以对外提供服务,从而达到更高的吞吐量,更好的资源利用率和更低的响应时间。前端通过代理进行调度。 小结 本文从一个比较高的层面谈到了数据库集群技术。从数据库应用层面的Share-Disk集群直到集群的最高形式-能够提供负载均衡的集群,并列举了一些主流的商用产品。 如果现在的集群产品不能包含这几个特性,而业务场景也需要,也可以将和一些现有的技术结合来实现,但毕竟不是每一个人都是数据库专家,即使给你一堆工具和材料你也做不出来iPhone,因此在系统设计之初就对数据库方面的方案有所考虑会免去很多麻烦

    1.4K70发布于 2018-03-23
  • 来自专栏程序猿的大杂烩

    浅谈数据库集群方案

    单点数据库 数据库往往是系统中的性能瓶颈,所以通常在系统设计中会引入各种各样的缓存机制,以避免频繁访问数据库。 而以上这些常见问题都是单点数据库带来的限制,为了解决这些问题,达到高性能、高可用的目的,我们就需要在系统架构设计中采用数据库集群方案。 性能测试 既然单点数据库存在性能问题,那么有没有实际数据呢? ---- PXC集群方案 上一小节介绍了单点数据库存在的问题,以及进行了一个简单的性能测试。为了应对这些问题,我们需要将单点数据库集群转变。 PXC集群工作原理 我们知道数据库数据的一致性和持久性是通过事务来保证的,而PXC集群的强一致性也是采用了事务,只不过这个事务是分布式事务。 然后采用Mycat等数据库中间件来完成集群之间的数据分片及管理,如图: ? ---- 总结 PXC集群采用同步复制,事务在所有的集群节点要么同时提交,要么不提交,能够保证集群中的数据强一致性。

    1.2K20发布于 2020-09-23
  • 来自专栏爱编码

    数据库】Redis集群

    首先是主机(192.168.11.128)的Redis服务进程,然后启动从机的服务进程,最后启动3个哨兵的服务进程集群 搭建集群工作需要以下三个步骤: 1.准备节点 Redis集群一般由多个节点组成,节点数量至少为 6个才能保证组成完整高可用的集群。 每个节点需要开启配置cluster-enabled yes,让Redis运行在集群模式下。建议为集群内所有节点统一目录,一般划分三个目录:conf、data、log,分别存放配置、数据和日志相关文件。 节点握手是集群彼此通信的第一步,由客户端发起命令:cluster meet{ip}{port} ? ,这时集群处于下线状态,所有的数据读写都被禁止。

    1K20发布于 2019-07-03
  • 来自专栏java开发的那点事

    10-Elasticsearch-SpringBoot整合ES集群

    SpringBoot整合Elasticsearch集群 每个版本的整合方式不一样, 具体的使用的时候, 直接去找官网的文档就好 为什么这个说呢, 因为我看之前的版本用的直接是RightHigh的客户端

    43430编辑于 2022-10-04
  • 来自专栏Golang语言社区

    数据库集群技术漫谈

    本篇文章将对集群的概念、形式以及目前主流的数据库集群技术进行探讨。 数据库集群的形式 数据库集群和扩展不像应用程序扩展那样容易,因为从数据库端来说,一旦涉及到了集群,往往会涉及到数据库层面的同步,因此从是否存在数据冗余这个角度来讲,我们可以从大面上把数据库集群分为以下两种形式 所谓负载均衡就是就是将对数据库的负载分布到集群中的多个节点上,在集群中的每一个节点都可以对外提供服务,从而达到更高的吞吐量,更好的资源利用率和更低的响应时间。前端通过代理进行调度。 小结 本文从一个比较高的层面谈到了数据库集群技术。从数据库应用层面的Share-Disk集群直到集群的最高形式-能够提供负载均衡的集群,并列举了一些主流的商用产品。 如果现在的集群产品不能包含这几个特性,而业务场景也需要,也可以将和一些现有的技术结合来实现,但毕竟不是每一个人都是数据库专家,即使给你一堆工具和材料你也做不出来iPhone,因此在系统设计之初就对数据库方面的方案有所考虑会免去很多麻烦

    1.3K50发布于 2018-03-23
  • 来自专栏开源部署

    TIDB 数据库集群部署

    TiDB数据介绍  1.1、TiDB数据简介 TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库 一站式 HTAP 解决方案 TiDB 作为典型的 OLTP 行存数据库,同时兼具强大的 OLAP 性能,配合 TiSpark,可提供一站式 HTAP 解决方案,一份存储同时处理 OLTP & OLAP, 云原生 SQL 数据库 TiDB 是为云而设计的数据库,支持公有云、私有云和混合云,使部署、配置和维护变得十分简单。 PD Server Placement Driver (简称 PD) 是整个集群的管理模块,其主要工作有三个:一是存储集群的元信息(某个 Key 存储在哪个 TiKV 节点);二是对 TiKV 集群进行调度和负载均衡 1 ansible-playbook deploy.yml 2.3、启动Tidb集群 1 ansible-playbook start.yml 2.4、测试集群 # 使用 MySQL 客户端连接测试,

    1.7K10编辑于 2022-08-17
  • 来自专栏mysql

    hhdb数据库介绍(10-10)

    功能入口: 在管理平台页面中点击配置->节点管理->"切换"使用须知:配置了数据节点高可用切换规则,且已经动态加载到计算节点 节点下主从、双主的复制关系已经搭建好,且复制延时时间不得超过10秒MGR节点不支持手动切换 若取消master_delay后的复制延迟仍大于10s,则不允许切换,master_delay也会恢复之前设置的值。 如果优先级最高的从存储节点不可用或延迟超过10秒,程序将从剩余切换规则中依次选择优先级最高的进行切换,如果均不可用或延迟超过10秒,则切换失败,提示错误(切换失败日志提示 switch datasource

    24310编辑于 2024-12-05
  • 来自专栏实用工具入门教程

    如何部署 Galera 数据库集群

    MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可。 一旦我们启动了集群,第一个节点的密码就会被复制到其他节点,因此debian.cnf值不再与数据库中的密码匹配。 测试复制 我们的集群可以执行从任何节点到任何其他节点的复制,称为主动 - 主动或主 - 主复制。让我们测试复制是否按预期工作。 写入第一个节点: 我们首先在第一个节点上进行数据库更改。 color | +----+-------+-------+--------+ | 1 | slide | 2 | blue | | 2 | swing | 10 配合腾讯云云关系型数据库,可将您从耗时的数据库管理任务中解放出来,让您有更多时间专注于您的应用和业务。

    1.9K32发布于 2018-11-29
  • 来自专栏追不上乌龟的兔子

    使用MongoDB构建数据库集群

    在本指南中,我们将解释如何为高可用性分布式数据集设置分片集群。 build-database-clusters-with-mongodb.png 数据扩展策略有两大类。 集群架构 在开始之前,让我们回顾一下我们将要创建的设置的组件: 配置服务器 - 存储群集其余部分的元数据和配置设置。 查询路由器 - mongos守护程序充当客户端应用程序和集群分片之间的接口。由于数据分布在多个服务器之间,因此需要将查询路由到存储给定信息的分片。查询路由器在应用程序服务器上运行。 创建一个名为的新配置文件/etc/mongos.conf,并提供以下值: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 # where to write mongos被调用创建新的systemd单元文件/lib/systemd/system/lib/systemd/system/mongos.service 1 2 3 4 5 6 7 8 9 10

    3.1K30发布于 2018-09-06
  • 来自专栏函数式编程语言及工具

    Akka(10): 分布式运算:集群-Cluster

    Cluster:由多个节点Node作为集群成员通过一种集群组织协议形成集群的一个整体。 Leader:集群中的某个成员节点Node。 由Akka自动在集群成员中选定,负责集群成员生命周期状态的具体转换操作。 Seed-Node:由一或多个集群中的节点组成。 Membership:集群成员组织是通过Gossip沟通协议把多个节点组织起来形成的一个集群整体。 集群内的节点分邻里相互通过Gossip交流更新集群状态数据,逐步扩散交流覆盖整个集群所有节点并形成完整的统一集群状态数据。 Gossip-Convergence:集群统一状态。 如果集群中任何一个节点处于Unreachable状态则整个集群无法达至Convergence状态。

    2.1K90发布于 2018-01-05
  • 来自专栏CSDN技术头条

    容器集群支持数据库实践

    京东容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例。架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理。 底层资源云化和核算成本需求,会针对按事业部配给一定的配额,所在的创建数据库集群实例成功后,自动从该部门扣除对应的资源值,反之销毁会归还配额到部门。 监控 告警 数据库cluster自身DB层面的告警由云数据库集群平台提供。涉及到底层计算,网络,存储等资源层面的告警,由底层京东Docker容器平台提供数据给云数据库集群。 JDOS架构 ? 亲和性和反亲和性调度 创建全新数据库集群实例如一主一层,JDOS调度器会把这2个MySQL容器实例分布到不同的机架。 稳定性测试 场景描述 单容器1000W基础数据,单表请求10W数据,8容器并发运行24小时。 性能表现 ? CPU表现 ? 磁盘表现 ? 网络表现 ?

    2K80发布于 2018-02-12
  • 来自专栏DATABASE

    集群数据库的备份和恢复

    基本概念解释 还原 Restore Restore : 使用备份文件,将数据库还原到过去的某个状态 恢复 Recovery Recovery : 应用onine redo logs 和归档日志将数据库做向前恢复 su - oracle ***设置闪回区 alter system set db_recovery_file_dest_size=2g SCOPE=BOTH SID='* '; alter system set db_recovery_file_dest = '+DATA' SCOPE=BOTH SID='*'; 关闭数据库 srvctl stop database - Recovery Area set linesize 1000; column NAME format a90; select name,status from v$archived_log; >>>备份数据库 startup >>>恢复数据库 正常启动数据库,不能启动,说明数据库已经坏了 su - oracle rman nocatalog target sys/oracle 一定要设置DBID

    1.4K40编辑于 2022-04-11
  • 来自专栏Web前后端、全栈出发

    MySQL数据库 高可用集群方案

    MySQL数据库集群方案 MySQL 高可用架构:主从备份 为了防止数据库的突然,挂机,我们需要对数据库进行高可用架构 主从备份 是常见的场景 通常情况下都是 一主一从/(多从) 正常情况下,都是主机进行工作 log-bin=mysql-bin #服务id,同一个集群环境下服务id不可重复! 解决方案: 采用数据库集群的方案: 其中一个是主库,负责写入数据,我们称之为:写库; 其它都是从库,负责读取数据,我们称之为: 读库; 一主n从 主从互备 读写分离架构! 逻辑库——逻辑表表名要与数据库匹配——数据节点database指定对应的数据库——数据库 主机配置 注意:逻辑表名要与实际相同! 10s timeout check 10s maxconn 3000 #自带的一套ur 管理页面监听web模式4001..

    71910编辑于 2024-08-06
  • 来自专栏NebulaGraph 技术文章

    Kubernetes 部署 Nebula 图数据库集群

    数据库容器化是最近的一大热点,那么 Kubernetes 能为数据库带来什么好处呢? 故障恢复:Kubernetes 提供故障恢复的功能,数据库应用如果宕掉,Kubernetes 可以将其自动重启,或者将数据库实例迁移到集群中其他节点上 存储管理:Kubernetes 提供了丰富的存储接入方案 ,数据库应用能透明地使用不同类型的存储系统 负载均衡:Kubernetes Service 提供负载均衡功能,能将外部访问均衡到不同的数据库实例副本上 水平拓展:Kubernetes 可以根据当前数据库集群的资源利用率情况 ,缩放副本数目,从而提升资源的利用率 目前很多数据库,如:MySQL,MongoDB 和 TiDB 在 Kubernetes 集群中都能运行良好。 STATUS CHART APP VERSION local-volume-provisioner default 1 2021-02-10

    1.2K20发布于 2021-03-03
  • 来自专栏Java学习网

    MySQL数据库,浅谈MySQL集群原理

    MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。 初步掌握MySQL集群原理是我们学习MySQL集群要迈出的第一步。 ? 那么MySQL集群是如何存储数据的呢?MySQLcluster数据节点组内主从同步采用的是同步复制,来保证组内节点数据的一致性。 随着计算机和信息技术的迅猛发展和普及,行业应用系统的规模迅速扩大,行业应用所产生的数据量量呈爆炸式增长,类似于MySQL集群这样的技术得到了广泛的运用,MySQL集群原理的运用就显得尤其重要。

    3.7K20发布于 2021-03-29
  • 来自专栏Linux技术资源分享

    Redis数据库集群搭建 | 实践篇

    redis跑内存的数据库,是解决数据交互高并发的解决方案。 tar -xzvf redis-3.2.8.tar.gz cd redis-3.2.8 make && sudo make ---- 创建集群目录 说明:此步创建redis集群目录,用户存放redis redis-cluster ---- 启动Redis集群 ➜ ~ redis-server /etc/db/redis_cluster/6379/redis.conf ➜ ~ redis-server 00:00:02 redis-server 127.0.0.1:6383 [cluster] ---- 安装redis集群工具 ➜ ~ sudo apt-get install ruby -y ➜ -v ruby 1.9.3p484 (2013-11-22 revision 43786) [i686-linux] ➜ ~ sudo gem install redis ---- 创建Redis集群

    88740发布于 2018-06-08
  • 来自专栏凹凸玩数据

    盘点 10数据库

    大家好,我是小五 DB-Engines 最近发布了 2021 年 9 月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名,实时统计了 378 种数据库的排名指数。 前 30 名的排行情况详见下图,前10数据库 用线段做了分割。同时在文末,会免费赠送给大家一些数据库书籍! 跌幅榜情况 较去年同期,本月三霸主集体暴跌再次霸占了“同期跌幅榜”。 小众数据库不可小觑 数据库相关从业人员可以将 DB-Engines 数据库排名作为参考,大数据时代发展速度之快超乎我们的想象,新的数据库产品仍然在不断诞生,如果你的需求比较特殊,大众数据库产品无法很好地满足你 今日头条内部用 ClickHouse 来做用户行为分析,内部一共几千个 ClickHouse 节点,单集群最大 1200 节点,总数据量几十 PB,日增原始数据 300TB 左右。 快手内部也在使用 ClickHouse,存储总量大约 10PB, 每天新增 200TB, 90% 查询小于 3S。

    2.5K10发布于 2021-10-18
领券