首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据学习笔记

    Elasticsearch 6.x集群搭建

    ------------------- # # Use a descriptive name for your cluster: # #cluster.name: my-application #ES集群名 - Network ----------------------------------- # # Set the bind address to a specific IP (IPv4 or IPv6) documentation. # # --------------------------------- Discovery ---------------------------------- # 集群的发现机制 is ["127.0.0.1", "[::1]"] # #discovery.zen.ping.unicast.hosts: ["host1", "host2"] #指定接收单播请求的主机,推荐包含组成集群的所有主机 number of master-eligible nodes / 2 + 1): #discovery.zen.minimum_master_nodes: #默认值是1,该属性定义的是为了组成一个集群

    86950发布于 2019-05-27
  • 来自专栏菩提树下的杨过

    redis 学习笔记(6)-cluster集群搭建

    上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞sharding 下面是参考官方教程cluster-tutorial 在mac机上搭建cluster的过程: 一、下载最新版redis 编译 目前最新版是3.0.7,下载地址:http://www.redis.io/download mkdir 7000 7001 7002 7003 7004 7005 注:与大多数分布式中间件一样,redis的cluster也是依赖选举算法来保证集群的高可用,所以类似ZK一样,一般是奇数个节点( 可以允许N/2以下的节点失效),再考虑到每个节点做Master-Slave互为备份,所以一个redis cluster集群最少也得6个节点。 如上图,redis-cluster把整个集群的存储空间划分为16384个slot(译为:插槽?)

    1K50发布于 2018-01-18
  • 来自专栏后端架构师

    Redis 6.X Cluster 集群搭建

    Part1Redis 6.X Cluster 集群搭建 码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis Cluster 集群之前,我们需要先搭建一套集群环境。 机器有限,实现目标是一台机器上搭建 6 个节点,构成一个三主三从集群模式。 1下载解压 可直接到 Redis 官网下载最新稳定包,地址:https://redis.io/download。 分别修改 6 个 redis.conf ## 7000-7005端口 port 7000 ## 后台启动 daemonize yes ## 如果是在单机模拟集群必须指定bind的IP,如果不修改ip的话使用程序连接集群会报错 5查看集群状态 redis-6.0.9/src/redis-cli --cluster check 172.16.90.152:7000 6注意事项 当使用 redis-6.0.9/src/redis-cli prot 不带-c 参数进入的不是集群 搭建好集群后,期待下一篇「Redis 高可用篇:Cluster 能支持的数据有多大?」

    2.6K40发布于 2021-04-08
  • 来自专栏菩提树下的杨过

    redis 学习笔记(6)-cluster集群搭建

    上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞sharding 下面是参考官方教程cluster-tutorial 在mac机上搭建cluster的过程: 一、下载最新版redis 编译 目前最新版是3.0.7,下载地址:http://www.redis.io/download mkdir 7000 7001 7002 7003 7004 7005 注:与大多数分布式中间件一样,redis的cluster也是依赖选举算法来保证集群的高可用,所以类似ZK一样,一般是奇数个节点( 可以允许N/2以下的节点失效),再考虑到每个节点做Master-Slave互为备份,所以一个redis cluster集群最少也得6个节点。 如上图,redis-cluster把整个集群的存储空间划分为16384个slot(译为:插槽?)

    1.1K50发布于 2018-01-18
  • 来自专栏后台及大数据开发

    kubernetes集群搭建(6):kubernetes基本使用演示

    /jdk /usr/local/jdk 6 COPY . /jdk /usr/local/jdk 6 COPY . ReplicationController/serverrc Containers: server: Container ID: docker://00a7c4c588f2d7593bf0bbe6fd07350903f96e00f6e75278283e054580731a4f 将同一名字的rc作为后端node进行负载 spec: ports: - port: 9001      #service暴露在cluster ip上的端口,clusterIP:port 是提供给集群内部客户访问 nodePort上到来的数据最终经过kube-proxy流入到后端pod的targetPort上进入容器,和rc中的containerPort一致 nodePort: 30001   #提供给集群外部客户访问

    1.5K20发布于 2018-08-02
  • 来自专栏后端架构师

    Redis 6.X Sentinel 哨兵集群搭建

    码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis 之前,我们需要先搭建一套哨兵环境。 机器有限,实现目标是一台机器上搭建 6 个节点,构成一主两从三哨兵集群模式。 下载解压 可直接到 Redis 官网下载最新稳定包,地址:https://redis.io/download。 /redis-6.0.9/src/redis-server redis-6481/redis.conf 检查集群状态 . /redis-6.0.9/src/redis-cli -p 6479 info Replication 配置哨兵集群 将哨兵配置文件分别复制到 sentinel26380 sentinel26381 sentinel26382,需要注意的是每个文件的端口配置以及 sentinel monitor mymaster 172.16.90.152 6479 2 中最后的数字 2,哨兵集群汇总每个节点必须一致

    1.6K30发布于 2021-04-08
  • 来自专栏我的技术专刊

    Redis6.x.x 搭建RedisCluster集群

    2.1 拉取redis 镜像 docker pull redis 3 创建私有网络 3.1 创建私有网络 创建docker容器的私有网络,方便建立集群使用,网段为172.15.0.0网络名字命名为redis_net1 创建集群 任意进入一个容器,我这里进入redis-8000容器来执行命令创建集群 docker exec -it redis-8000 bash 使用redis-cli --cluster create :8002 172.15.0.5:8003 172.15.0.6:8004 172.15.0.7:8005 --cluster-replicas 1 常见问题: 基于自己搭建redis cluster踩过的坑 服集群没有搭建成功,我再次检查了一下,未搭建成功的原因是我的redis-8000容器的配置文件的cluster-config-file node_8000.conf与其他容器中的cluster-config-file node_8000.conf`相同 2、Redis无法使用其他库 Redis Cluster 集群方案只支持一个数据库(db 0) 3、SpringBoot 配置集群无法启动 2021-01-02 21

    1.3K20编辑于 2021-12-15
  • 来自专栏NetCore 从壹开始

    微系列:6、在Centos系统中,搭建RabbitMQ集群

    network NETWORKING=yes HOSTNAME=node01 重启network systemctl restart network 配置erlang cookie,RabbitMQ 集群是基于 所在文件/var/lib/rabbitmq/.erlang.cookie 四、启动节点 启动rabbitmq-server systemctl start rabbitmq-server 将其他节点加入集群 在02,03节点上执行以下命令 rabbitmqctl stop_app rabbitmqctl join_cluster rabbit@node01 rabbitmqctl start_app 查看集群状态

    70520编辑于 2023-01-09
  • 来自专栏技术杂记

    ZooKeeper 集群6

    可以使用 iptables -L -nv 进行检查,filter 表中包含以下几行的,为已经生效

    46440编辑于 2022-03-25
  • 来自专栏技术杂记

    etcd 集群6

    加减节点相关的操作 [root@h104 etcd-v2.2.4-linux-amd64]# ./etcdctl member --help NAME: etcdctl member - member add, remove and list subcommands USAGE: etcdctl member command [command options] [arguments...] COMMANDS: list enumerate existing cluster mem

    30010编辑于 2022-01-19
  • 来自专栏技术杂记

    Consul 集群6

    Consul 提供了一个简单的键值存储机制,可以使用这个特性来存储动态配置,服务协调,主节点选举和其它一些功能

    57710编辑于 2021-12-01
  • 来自专栏程序员同行者

    redis集群搭建

    2、redis版本 :最新稳定版3.0.6 3、安装配置 安装目录:/usr/local/src/redis-3.0.6/src/ 配置文件:/et/redis_630{0,1}.conf 二、搭建 3、创建集群 #选举规则 节点角色由启动顺序决定,先master之后是slave,本文中6300是master,6301是slave 初始化集群 [root@wh-53 etc]# /usr/local usr/local/src/redis-3.0.6/src/redis-cli -c -p 6301 127.0.0.1:6301> CLUSTER nodes 60ec356fa9e3a60d50b6b5a6c66520a8f3b63e21 usr/local/src/redis-3.0.6/src/redis-cli -c -p 6301 127.0.0.1:6301> CLUSTER NODES 60ec356fa9e3a60d50b6b5a6c66520a8f3b63e21 后期继续集群理论的学习。 不要让懒惰占据你的大脑,不让要妥协拖跨你的人生。青春就是一张票,能不能赶上时代的快车,你的步伐掌握在你的脚下,good luck

    1.5K40发布于 2018-07-24
  • 来自专栏DevOps

    spark 集群搭建

    集群规划 node01为master节点,node02,node03为worker节点 192.168.24.102 node01 192.168.24.103 node02 集群配置 以下操作以node01为操作节点 1. 配置 slaves vi slaves node01 node02 node03 6. 搭建Spark HA 1. HADOOP_HOME,那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件,当你执行这两个文件,系统不知道是操作hadoop集群还是spark集群

    93710编辑于 2024-03-29
  • 来自专栏学习内容

    Hadoop集群搭建

    一、运行环境配置(所有节点) 所有集群服务,都需要配置 1、基础配置 关闭防火墙,关闭防火墙开机自启 systemctl stop firewalld systemctl disable firewalld 获取父目录 pdir=$(cd -P $(dirname $file); pwd) #6. 如果集群是第一次启动,需要在hadoop001节点格式化NameNode。 (注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。 host jps done 赋予脚本执行权限 chmod +x jpsall 分发/home/atguigu/bin目录,保证自定义脚本在三台机器上都可以使用 xsync /home/lydms/bin/ 6、

    1.9K20编辑于 2023-08-10
  • 来自专栏兮动人的博客

    Hadoop 集群搭建

    Hadoop 集群简介 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 ? ? 逻辑上分离 两个集群互相之间没有依赖、互不影响 物理上在一起 某些角色进程往往部署在同一台物理服务器上 MapReduce集群呢? -- yarn集群主角色RM运行机器。 > <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> </property> Step5:编辑Hadoop配置文件(6) 配置 workers ,添加 node1.xdr630.com node2.xdr630.com node3.xdr630.com Step6:分发同步安装包 在node1机器上将Hadoop安装包scp

    2.1K20发布于 2021-06-11
  • 来自专栏性能与架构

    Hadoop 集群搭建

    目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建思路 (1)准备基础设施 准备3台服务器,分别命名为 配置完成后,把 master 上的 hadoop 目录复制到 slave1 slave2 (3)启动 hadoop 在 master 中进行 hdfs 初始化,执行启动命令,打开相应网页查看状态信息 搭建过程 可以正常访问的话,可以说明集群启动成功了,但不一定可以正常运行,还需要下面的实际验证 测试验证 (1)hdfs 操作 创建目录 $ hdfs dfs -mkdir -p /user/hadoop 注:在执行过程中,如果长时间处于 running 状态不动,虽然没有报错,但实际上是出错了,后台在不断重试,需要到 logs 目录下查看日志文件中的错误信息 环境搭建完成,内容较长,感谢阅读,希望对想要搭建

    5.7K91发布于 2018-04-04
  • 来自专栏从零开始的linux

    搭建Hadoop集群

    环境说明 redhat6.7 hadoop2.7 角色 主机名 IP master node01 192.168.6.71slave node02 192.168.6.72Slave node03 192.168.6.73 配置 vim /etc/hosts 192.168.6.71 node01

    2.6K60发布于 2018-04-25
  • 来自专栏Java工程师成长之路

    ElasticSearch集群搭建

    需求 用docker搭建一个ElasticSearch一主一从的集群,加一个elasticsearch-head查看集群状态 步骤 在参考了一堆博客后,我写了个固定容器ip的docker-compose.yml

    1K20发布于 2019-09-10
  • 来自专栏python3

    kafka集群搭建

    数量越多,集群吞吐率越高), 若干Consumer Group,以及一个Zookeeper 集群。 看上面一张图,要想做kafka集群,有几个关键点 1. 三、正式搭建 环境介绍 操作系统 docker镜像 docker ip 部署软件以及版本 ubuntu-16.04.5-server-amd64 ubuntu:16.04 172.168.0.2 zookeeper 关于zookeeper集群的搭建,请参考链接: https://www.cnblogs.com/xiao987334176/p/10103619.html 本文使用5个kafka节点,构造kafka集群 查看集群状态 先来查看一下docker进程 ?

    1.5K10发布于 2020-02-21
  • 来自专栏浅枫沐雪

    搭建zookeeper集群

    月 7 2019 build.xml drwxr-xr-x 2 2002 2002 77 3月 7 2019 conf drwxr-xr-x 2 root root 6 7 2019 lib -rw-rw-r-- 1 2002 2002 11970 3月 7 2019 LICENSE.txt drwxr-xr-x 2 root root 6 SendThread@1299] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x6d7c4873940004

    86471发布于 2020-03-10
领券