首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Ray学习笔记

    RabbitMQ集群搭建过程-3

    发送配置文件到mq2和mq3 scp /etc/hosts root@mq2:/etc/ scp /etc/hosts root@mq3:/etc/ ? 3. 3.7 查看集群状态 rabbitmqctl cluster_status ? 加入集群成功,也可以查看web管理页面 ? 4. 总结 搭建集群后,主节点和从节点的交换机和消息队列是一致的。 环境准备 在副本集群基础上进行加工 3. 策略说明 ? 4. 配置集群 4.1 查看当前策略 在任意节点上执行命令,查看当前的策略 rabbitmqctl list_policies ? 总结 搭建集群后,主节点和从节点的交换机和消息队列是镜像的。

    1.5K60发布于 2021-04-05
  • 来自专栏业余草

    3主3从,Redis 集群搭建指南

    假设集群规模为3主3从,则必须至少有2个主节点存活才能执行故障恢复。如果部署时将2个主节点部署到同一台服务器上,则该服务器不幸宕机后集群无法执行故障恢复。 默认情况下,Redis集群如果有master节点不可用,即有一些槽没有负责的节点,则整个集群不可用。也就是说当一个master节点故障,到故障恢复的这段时间,整个集群都处于不可用的状态。 搭建集群,启动新节点 ? 修改Redis配置文件以启动集群模式: ? 然后启动新节点。 ? 发送meet消息将节点组成集群 ? 使用命令直接创建集群 ? 在Redis 5版本中redis-cli客户端新增了集群操作命令。 如下所示,直接使用命令创建一个3主3从的集群: ? 扩容操作与创建集群操作类似,不同的在于最后一步是将槽从已有的节点迁移到新节点。 启动新节点: 同创建集群。

    1.6K20发布于 2019-08-29
  • 来自专栏职场亮哥

    搭建Hadoop3集群

    强烈建议再搭建hadoop集群之前体验一下单机模式和伪分布式模式的搭建过程,可以参考以下链接: https://suncle.me/2018/04/16/Hadoop3-basic-installation-and-configuration / 开始之前 本次集群搭建所依赖的软件环境如下: Linux系统:以运行在阿里云ECS上的Ubuntu 16.04 LTS版本为例 jdk-8u162-linux-x64.tar.gz hadoop 3.1.0 然后执行以下初始步骤: 创建三台阿里云ECS,也可以在本地创建3台配置较好的Vmware虚拟机。分别作为hadoop集群的node-master,node1和node2(名称可以自取)。 主节点保存有关分布式文件系统的信息,例如ext3文件系统上的inode表,并调度资源分配。 此次搭建过程中node-master即为主节点,并运行两个守护进程: NameNode:管理分布式文件系统并知道集群内存储的数据块的位置。

    1.7K21发布于 2020-10-10
  • 来自专栏后台及大数据开发

    kubernetes集群搭建(3):master节点安装

    default.etcd" ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379" ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379" 3. --cluster-dns=10.254.0.2 --cluster-domain=cluster.local   # 10.254.0.2 为dns解析地址   和 第3步中的ip要在同一范围   # cluster.local 集群的域名字,用在服务发现dns解析中 5.

    1.3K30发布于 2018-08-02
  • 来自专栏实战docker

    树莓派3B搭建Flink集群

    今天的实战是用两台树莓派3B组建Flink1.7集群环境,模式是独立集群(Cluster Standalone); 操作步骤 准备操作系统; 安装JDK; 配置host; 安装Flink1.7; 配置参数 ; 设置两台树莓派相互SSH免密码登录; 启动Flink集群环境; 部署一个Flink应用,验证环境是否正常; 树莓派操作系统 两台树莓派的操作系统都是64位Debian,详细的安装步骤请参考《树莓派3B 至此,集群环境的搭建和启动都已完成,接下来就是测试和验证了; 配置SSH免密码登录(可选步骤) 启动集群时要求输入merak的密码,略有些麻烦,另外用stop-cluster.sh停止集群时也要输入merak 关于这个Flink应用的详情,您可以参考文章《Flink实战:消费Wikipedia实时消息》; 至此,Flink集群的搭建和相关验证都已完成,由于硬件限制无法做复杂的计算和处理,但这个环境作为学习和实验环境来使用还是挺适合的 ,希望本文能给您在搭建环境时提供一些参考;

    1.4K20发布于 2019-05-29
  • 来自专栏漫漫架构路

    RocketMQ详解(3)——RocketMQ集群模型与搭建

    RocketMQ详解(3)——RocketMQ集群模型与搭建 一. RocketMQ集群模型 RocketMQ天然支持分布式集群模型,其中主节点可读可写,从节点只可读,不可写,类似MySQL的主从模式。 RocketMQ主要支持以下几种集群模型: 单机模式(M) 这种方式风险较大,一旦Broker重启或者宕机时,会导致整个消息服务不可用,不建议在生产环境中使用。 双Master模式/多Master模式(2M) 一个集群无Slave,全是Master,例如2个Master或者3个Master。 集群环境搭建 参考博客:https://blog.csdn.net/qiushisoftware/article/details/78944579,里面详细介绍了搭建双Master的RocketMQ集群的过程

    1.4K20发布于 2020-09-03
  • 来自专栏技术之路

    etcdv3 集群的搭建和使用

    这篇讲一下etcd集群的搭建和使用。 集群的节点个数和容错 官方推荐的集群个数为奇数个,如图当节点为3个和为4个时的容错都是1, 节点5个和6个时,容错为2... ?    p /data/etcd sudo chown -R root:$(whoami) /data/etcd sudo chmod -R a+rw /data/etcd   在这里我使用static方式去搭建服务 这样的话,如果你要重新创建集群,即使配置和之前一样,也会再次生成新的集群和节点 uuid;否则会导致多个集群之间的冲突,造成未知的错误   所有以--init开头的配置都是在第一次启动etcd集群的时候才会用到 在使用命令时需要在前面加上ETCDCTL_API=3   如:查看集群成员 ETCDCTL_API=3 etcdctl member list ?   可以看到有3个节点在线 集群状态 ETCDCTL_API=3 etcdctl --endpoints 172.31.43.166:2379,172.31.34.237:2379,172.31.43.114

    1.4K30发布于 2018-08-01
  • 来自专栏NetCore 从壹开始

    微系列:3、在Centos中,搭建Nacos集群

    Release下载页:https://github.com/alibaba/nacos/releases 快速入门:https://nacos.io/zh-cn/docs/quick-start.html 3、

    1.1K10编辑于 2023-01-09
  • 来自专栏后端技术

    从零开始搭建hadoop3集群

    需求 在三台机上配置好hadoop、zookeeper、hbase、hive集群。 路线选择: 先在有ubuntu的机上配置好hadoop,然后备份系统,直接复制到两台裸机上。 安装顺序 安装、配置hadoop,启动并检验hdfs集群 在一台电脑上将hadoop配置文件写好 通过systemback备份系统复制到两台裸机上 安装、配置zookeeper,启动并检验zk集群 在 namenode机安装、配置hive 附加技能 在安装集群的过程中,你可能需要学会以下技能: 备份ubuntu系统并在其它机器上还原 修改ubuntu主机名、hosts 1. 配置hadoop集群 1.1 在一台电脑配置hadoop 跟随千锋大数据中级教程 P.36~P.39做即可 注意事项: 主机名应当尽量与hosts中的映射域名一致。 注意事项: conf/zoo.cfg中的dataDir一行: dataDir=/usr/zookeeper/zkData 请填写绝对路径,不要用${ZK_HOME}这样的变量,否则可能会连接失败 3.

    1.1K60发布于 2019-05-25
  • 来自专栏用户9090604的专栏

    docker搭建Redis3主3从集群并扩缩容

    3主3从Redis集群扩缩容 使用主从时需要避免主与从在同一物理机, 否则当一对主从挂机后, 对应数据不可使用 一. 构建 1. :6385 10.122.1.86:6386 --cluster-replicas 1 # 一一分配 yes 3. 查看集群状态(redis内执行) cluster info cluster nodes # 可以确定主从的对应关系 M S 1 6 2 4 3 5 redis-cli --cluster check 10.122.1.86:6381 (容器内执行) 4.连接至集群中 docker exec -it redis-node-1 /bin/bash redis-cli -p 6381 -c 5. :6387 10.122.1.86:6381 redis-cli --cluster check 10.122.1.86:6381发现6387已经作为新的master 3.

    60930编辑于 2022-02-09
  • 来自专栏Java技术分享

    idea新建springCloud项目(3)-Eureka 高可用 搭建集群

    1)在eureka1配置8762 2)在eureka2配置8761 eureka的其中一台挂了,其它也会挂,要避免这个情况,需要在client项目中配置2个地址: 3) 在client项目配置8761 1)在eureka1配置8762、8763 2)在eureka2配置8761、8763 3)在eureka3配置8761、8762 4) 在client项目配置8761、8762、8763

    61230编辑于 2021-12-28
  • 来自专栏程序员同行者

    redis集群搭建

    一、说明: 1、redis节点 3主 3从 192.168.1.55:6300 192.168.1.55:6301 wh-52 192.168.1.59 安装配置 安装目录:/usr/local/src/redis-3.0.6/src/ 配置文件:/et/redis_630{0,1}.conf 二、搭建 1、安装redis-3.0.6 [root@wh root@wh-52 src]# cd redis-3.0.6 [root@wh-52redis-3.0.6]# make [root@wh-52redis-3.0.6]# make test 2、集群创建准备 3、创建集群 #选举规则 节点角色由启动顺序决定,先master之后是slave,本文中6300是master,6301是slave 初始化集群 [root@wh-53 etc]# /usr/local 后期继续集群理论的学习。 不要让懒惰占据你的大脑,不让要妥协拖跨你的人生。青春就是一张票,能不能赶上时代的快车,你的步伐掌握在你的脚下,good luck

    1.5K40发布于 2018-07-24
  • 来自专栏DevOps

    spark 集群搭建

    集群配置 以下操作以node01为操作节点 1. 修改profile,配置scala_home scala 下载:http://www.scala-lang.org/download/ 解压到指定目录 /home/hadoop3/ vi /etc/profile export SCALA_HOME=/home/hadoop3/scala-2.11.7 export PATH=$PATH:$SCALA_HOME/bin 搭建Spark HA 1. HADOOP_HOME,那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件,当你执行这两个文件,系统不知道是操作hadoop集群还是spark集群

    93710编辑于 2024-03-29
  • 来自专栏学习内容

    Hadoop集群搭建

    HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin 加载环境变量 source /etc/profile 查看是否安装完成 hadoop version 3、 =========== #3. hadoop103上采用root账号,配置一下免密登录到hadoop101、hadoop102、hadoop103; 最终效果: 3、同步文件 同步环境变量/etc/profile.d/my_env.sh (注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。 home/lydms/bin/myhadoop.sh stop /home/lydms/bin/myhadoop.sh start 9、其它 9.1 常用端口号 端口名称 Hadoop2.x Hadoop3.

    1.9K20编辑于 2023-08-10
  • 来自专栏兮动人的博客

    Hadoop 集群搭建

    Hadoop 集群简介 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 ? ? 逻辑上分离 两个集群互相之间没有依赖、互不影响 物理上在一起 某些角色进程往往部署在同一台物理服务器上 MapReduce集群呢? MapReduce是计算框架、代码层面的组件没有集群之说 ? 2. Hadoop 部暑模式 ? 3. node3 # 检验: ? 集群时间同步(3台机器) yum -y install ntpdate ntpdate ntp4.aliyun.com ? JDK 1.8安装(3台机器) ?

    2.1K20发布于 2021-06-11
  • 来自专栏性能与架构

    Hadoop 集群搭建

    目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建思路 (1)准备基础设施 准备3台服务器,分别命名为 ,所以也要设置对应的配置文件 yarn-site.xml 还需要在 slaves 中添加从节点的IP 配置完成后,把 master 上的 hadoop 目录复制到 slave1 slave2 (3) 启动 hadoop 在 master 中进行 hdfs 初始化,执行启动命令,打开相应网页查看状态信息 搭建过程 准备基础设施 (1)为3台服务器设置名称 修改每台服务器的 /etc/hosts,添加 可以正常访问的话,可以说明集群启动成功了,但不一定可以正常运行,还需要下面的实际验证 测试验证 (1)hdfs 操作 创建目录 $ hdfs dfs -mkdir -p /user/hadoop 注:在执行过程中,如果长时间处于 running 状态不动,虽然没有报错,但实际上是出错了,后台在不断重试,需要到 logs 目录下查看日志文件中的错误信息 环境搭建完成,内容较长,感谢阅读,希望对想要搭建

    5.7K91发布于 2018-04-04
  • 来自专栏从零开始的linux

    搭建Hadoop集群

    环境说明 redhat6.7 hadoop2.7 角色 主机名 IP master node01 192.168.6.71slave node02 192.168.6.72Slave node03 192.168.6.73 配置 vim /etc/hosts 192.168.6.71 node01

    2.6K60发布于 2018-04-25
  • 来自专栏Java工程师成长之路

    ElasticSearch集群搭建

    需求 用docker搭建一个ElasticSearch一主一从的集群,加一个elasticsearch-head查看集群状态 步骤 在参考了一堆博客后,我写了个固定容器ip的docker-compose.yml

    1K20发布于 2019-09-10
  • 来自专栏python3

    kafka集群搭建

    数量越多,集群吞吐率越高), 若干Consumer Group,以及一个Zookeeper 集群。 所有kafka节点,必须连接到同一个Zookeeper(可以是单机,也可以是Zookeeper集群) 2. kafka节点配置文件中的broker.id必须唯一,如上图 3. kafka节点的数量,必须是奇数 三、正式搭建 环境介绍 操作系统 docker镜像 docker ip 部署软件以及版本 ubuntu-16.04.5-server-amd64 ubuntu:16.04 172.168.0.2 zookeeper kafka_2.12-2.1.0 ubuntu-16.04.5-server-amd64 ubuntu:16.04 172.168.0.9 kafka_2.12-2.1.0 本文的zookeeper,使用3个节点构建的集群 关于zookeeper集群的搭建,请参考链接: https://www.cnblogs.com/xiao987334176/p/10103619.html 本文使用5个kafka节点,构造kafka集群

    1.5K10发布于 2020-02-21
  • 来自专栏浅枫沐雪

    搭建zookeeper集群

    7 2019 bin -rw-rw-r-- 1 2002 2002 97426 3月 7 2019 build.xml drwxr-xr-x 2 2002 2002 77 3 10742 3月 7 2019 ivy.xml drwxr-xr-x 4 2002 2002 308 3月 7 2019 lib -rw-rw-r-- 1 2002 2002 drwxr-xr-x 3 2002 2002 22 3月 7 2019 src -rw-rw-r-- 1 2002 2002 1515359 3月 7 2019 zookeeper 3 2002 2002 35 3月 7 2019 zookeeper-it drwxr-xr-x 4 2002 2002 46 3月 7 2019 zookeeper-jute drwxr-xr-x 5 2002 2002 176 3月 7 2019 zookeeper-recipes drwxr-xr-x 3 2002 2002 32 3月 7

    86471发布于 2020-03-10
领券