首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏John Wong's Blog

    Redis5.x集群搭建

    Redis共有16384个槽位,在集群搭建时需要把这些槽位分配给每个主节点,可以根据机器性能以及存储能力按权重分配,一般是平均分配。 各个主节点之间不会进行数据同步,只存储对应槽位的数据。 Ssl 14:20 0:13 /usr/local/redis/bin/redis-server *:6380 [cluster] 5、查看集群信息 进入Redis客户端,-p 参数是指定实例的启动端口 /usr/local/redis/bin/redis-cli -p 6379 查看集群信息,因为集群还未搭建完成,所以状态是失败的。 完成搭建 7、查看集群信息 进入客户端。 /usr/local/redis/bin/redis-cli -p 6379 查看集群信息,状态已经OK。 ,redis会读取保留集群信息的文件恢复集群关系。

    1.3K20编辑于 2021-12-23
  • 来自专栏Java开发者

    Redis 5 之后版本的高可用集群搭建

    Redis 5.0之后版本的高可用集群搭建 Redis系统介绍: Redis的基础介绍与安装使用步骤:https://www.jianshu.com/p/2a23257af57b Redis的基础数据结构与使用 :https://www.jianshu.com/p/c95c8450c5b6 Redis核心原理:https://www.jianshu.com/p/4e6b7809e10a Redis 5 之后版本的高可用集群搭建 Redis 5 集群选举原理分析:https://www.jianshu.com/p/e6894713a6d5 Redis 5 通信协议解析以及手写一个Jedis客户端:https://www.jianshu.com redis集群需要至少要三个master节点,我们这里搭建三个master节点,并且给每个master再搭建一个slave节点,总共6个redis节点,这里用一台机器(可以多台机器部署,修改一下ip地址就可以了 )部署6个redis实例,三主三从,搭建集群的步骤如下: 第一步:在第一台机器的/usr/local下创建文件夹redis-cluster,然后在其下面创建6个文件夾如下: mkdir -p /usr/

    2K30发布于 2019-04-11
  • 来自专栏summerking的专栏

    ansible自动搭建redis5集群

    基于ansible全自动部署 redis5 三主三从集群,只需一条命令即可完成搭建! 注意关闭防火墙(创建集群可能失败哟~) # 执行 [root@summer work_yml]# ansible-playbook redis.yml ... ... connected 16c3f24fc1fe1426bf2c6349582f9514249fa18b 192.168.0.90:27000@37000 master - 0 1608810299887 5 0 1608810300000 6 connected 48ae4b7c9e01366be6a41875b7114cc85bdb5c2d 192.168.0.186:27000@37000 master - 0 1608810303922 3 connected 5461-10922 1afdd68c03f07dffe913c07caf5bef20280ccbbe 192.168.0.68:27000

    73520编辑于 2022-09-19
  • 来自专栏NetCore 从壹开始

    微系列:5、在Centos系统中,搭建Kafka集群

    downloads 3、配置防火墙,开放相关端口 二、修改配置文件 进入kafka目录下的config文件夹下,修改配置文件server.properties内容为: # broker的id号,同一个集群中每个节点设置为不同的

    1.4K40编辑于 2023-01-09
  • 来自专栏Albert陈凯

    P04_zookeeper-cdh5集群搭建

    安装ZooKeeper包 [CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/) 1、将课程提供的zookeeper-3.4.5-cdh5.3.6.tar.gz sparkproject2:2888:3888 server.2=sparkproject3:2888:3888 设置zk节点标识 cd zk mkdir data cd data vi myid 0 搭建 zk集群 1、在另外两个节点上按照上述步骤配置ZooKeeper,使用scp将zk和.bashrc拷贝到spark2和spark3上即可。 启动ZooKeeper集群 1、分别在三台机器上执行:zkServer.sh start。

    99060发布于 2018-04-08
  • 来自专栏凯哥Java

    【ES图文教程】5:docker中ES集群搭建

    部署es集群可以直接使用docker-compose来完成,不过要求你的Linux虚拟机至少有4G的内存空间 先来看看凯哥虚拟机给了多少内存: OK。够用的。

    87920编辑于 2022-12-16
  • 来自专栏程序员同行者

    redis集群搭建

    2、redis版本 :最新稳定版3.0.6 3、安装配置 安装目录:/usr/local/src/redis-3.0.6/src/ 配置文件:/et/redis_630{0,1}.conf 二、搭建 3、创建集群 #选举规则 节点角色由启动顺序决定,先master之后是slave,本文中6300是master,6301是slave 初始化集群 [root@wh-53 etc]# /usr/local 集群测试 手动关闭一个redis-server端口进程(以192.168.1.87为例)。 192.168.1.87:6300 slave 1368481dd24815935e911c08b5a6c38c4cdc994c 0 1454326652647 7 connected 1368481dd24815935e911c08b5a6c38c4cdc994c 后期继续集群理论的学习。 不要让懒惰占据你的大脑,不让要妥协拖跨你的人生。青春就是一张票,能不能赶上时代的快车,你的步伐掌握在你的脚下,good luck

    1.5K40发布于 2018-07-24
  • 来自专栏DevOps

    spark 集群搭建

    集群规划 node01为master节点,node02,node03为worker节点 192.168.24.102 node01 192.168.24.103 node02 集群配置 以下操作以node01为操作节点 1. 1 # 每一个Worker最多可以使用的内存,我的虚拟机就2g # 真实服务器如果有128G,你可以设置为100G export SPARK_WORKER_MEMORY=1g 5. 搭建Spark HA 1. HADOOP_HOME,那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件,当你执行这两个文件,系统不知道是操作hadoop集群还是spark集群

    93710编辑于 2024-03-29
  • 来自专栏学习内容

    Hadoop集群搭建

    一、运行环境配置(所有节点) 所有集群服务,都需要配置 1、基础配置 关闭防火墙,关闭防火墙开机自启 systemctl stop firewalld systemctl disable firewalld 判断文件是否存在 if [ -e $file ] then #5. yarn</value> </property> </configuration> 4.5 分发配置文件 xsync /opt/module/hadoop-3.1.3/etc/hadoop/ 5、 同步配置 xsync /opt/module/hadoop-3.1.3/etc 5.2 启动集群 如果集群是第一次启动,需要在hadoop001节点格式化NameNode。 (注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。

    1.9K20编辑于 2023-08-10
  • 来自专栏兮动人的博客

    Hadoop 集群搭建

    Hadoop 集群简介 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 ? ? 逻辑上分离 两个集群互相之间没有依赖、互不影响 物理上在一起 某些角色进程往往部署在同一台物理服务器上 MapReduce集群呢? 编辑Hadoop配置文件(5) 配置 yarn-site.xml,添加 <! -- yarn集群主角色RM运行机器。 5. 总结 服务器基础环境 Hadoop源码编译 Hadoop配置文件修改 shell文件、4个xml文件、workers文件 配置文件集群同步

    2.1K20发布于 2021-06-11
  • 来自专栏性能与架构

    Hadoop 集群搭建

    目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建思路 (1)准备基础设施 准备3台服务器,分别命名为 配置完成后,把 master 上的 hadoop 目录复制到 slave1 slave2 (3)启动 hadoop 在 master 中进行 hdfs 初始化,执行启动命令,打开相应网页查看状态信息 搭建过程 可以正常访问的话,可以说明集群启动成功了,但不一定可以正常运行,还需要下面的实际验证 测试验证 (1)hdfs 操作 创建目录 $ hdfs dfs -mkdir -p /user/hadoop 注:在执行过程中,如果长时间处于 running 状态不动,虽然没有报错,但实际上是出错了,后台在不断重试,需要到 logs 目录下查看日志文件中的错误信息 环境搭建完成,内容较长,感谢阅读,希望对想要搭建

    5.7K91发布于 2018-04-04
  • 来自专栏从零开始的linux

    搭建Hadoop集群

    环境说明 redhat6.7 hadoop2.7 角色 主机名 IP master node01 192.168.6.71slave node02 192.168.6.72Slave node03 192.168.6.73 配置 vim /etc/hosts 192.168.6.71 node01

    2.6K60发布于 2018-04-25
  • 来自专栏Java工程师成长之路

    ElasticSearch集群搭建

    需求 用docker搭建一个ElasticSearch一主一从的集群,加一个elasticsearch-head查看集群状态 步骤 在参考了一堆博客后,我写了个固定容器ip的docker-compose.yml extnetwork: ipv4_address: 172.20.0.3 elasticsearch-head: image: mobz/elasticsearch-head:5

    1K20发布于 2019-09-10
  • 来自专栏python3

    kafka集群搭建

    数量越多,集群吞吐率越高), 若干Consumer Group,以及一个Zookeeper 集群。 看上面一张图,要想做kafka集群,有几个关键点 1. 三、正式搭建 环境介绍 操作系统 docker镜像 docker ip 部署软件以及版本 ubuntu-16.04.5-server-amd64 ubuntu:16.04 172.168.0.2 zookeeper 关于zookeeper集群的搭建,请参考链接: https://www.cnblogs.com/xiao987334176/p/10103619.html 本文使用5个kafka节点,构造kafka集群 Isr: 3,4,5 此时的leader kafka为3,也就是broker_id参数为3个kafka服务器。

    1.5K10发布于 2020-02-21
  • 来自专栏浅枫沐雪

    搭建zookeeper集群

    7 2019 zookeeper-3.4.14.jar.asc -rw-rw-r-- 1 2002 2002 33 3月 7 2019 zookeeper-3.4.14.jar.md5 35 3月 7 2019 zookeeper-it drwxr-xr-x 4 2002 2002 46 3月 7 2019 zookeeper-jute drwxr-xr-x 5

    86471发布于 2020-03-10
  • 来自专栏晓晨的专栏

    Jenkins 集群搭建

    一.前言 Jenkins是当下比较流行的一款功能强大的持续集成工具,它支持搭建集群,来提高多项目的构建速度,模式为主从模式,master会将任务分配到各个从节点进行并发构建,从而提高速度,下面介绍一下如何搭建 Jenkins集群。

    2.6K50发布于 2018-07-12
  • 来自专栏Bigdata

    HBase集群搭建

    5、HBase的基础架构 1、HMaster 功能: 1) 监控RegionServer 2) 处理RegionServer故障转移 3) 处理元数据的变更 4) 处理region的分配或移除 5) 6、HBase的集群环境搭建 注意事项:HBase强依赖zookeeper和hadoop,安装HBase之前一定要保证zookeeper和hadoop启动成功,且服务正常运行 第一步:下载对应的HBase 的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com /cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步:压缩包上传并解压 将我们的压缩包上传到node01服务器的/export/softwares路径下并解压 cd export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0 export PATH=:$HBASE_HOME/bin:$PATH 第七步:HBase集群启动

    1.5K00发布于 2020-12-22
  • 来自专栏算法之名

    elasticsearch集群搭建

    elasticsearch.yml,node.name与network.host需要每台机不同. cluster.name: aubin-cluster # 集群名称 # 当前节点的IP地址 http.port: 9200 # 对外提供服务的端口,9300为集群服务的端口

    79920发布于 2019-08-20
  • 来自专栏三丰SanFeng

    zookeeper集群搭建

    最近公司用到了zookeeper做集群管理,这里按步骤记录一下其中的一些经验,也给后来的同学一些参考。由于这里只有一台服务器,因此搭建的其实是伪集群,多台服务器的搭建流程类似。 集群搭建环境: 发行版:CentOS-6.6 64bit 内核:2.6.32-504.el6.x86_64 CPU:intel-i7 3.6G 内存:2G 集群搭建步骤: 1. number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5

    1.3K70发布于 2018-01-16
  • 来自专栏开源部署

    Minio 集群搭建

    https://docs.minio.io/docs/distributed-minio-quickstart-guide https://github.com/minio/minio-service

    1.6K20编辑于 2022-07-31
领券