etcdserver: server stopped) [root@h102 etcd-v2.2.4-linux-amd64]# Tip: 直接删除leader也是安全的,只是在选举出新的leader前集群是不可用状态
recurse 参数是递归返回所有KV的意思, 如果要单独返回指定值可以使用指定key的方式
aclVersion = 0 ephemeralOwner = 0x0 dataLength = 2 numChildren = 0 [zk: 192.168.100.102:2180(CONNECTED) 7]
重启集群node 加入集群的节点可以任意关停、下线或宕机 Nodes that have been joined to a cluster can be stopped at any time.
搭建Kubernetes集群 那么我们正式搭建Kubernetes集群,什么是集群,就是多个Linux服务器。其实和Hadoop,elasticsearch,CDH集群差不多。 我选用的机器是三台centos7主机,没钱买服务器。之前配置三台服务器sh免密码登录和Docker,这里不一一介绍了。 7.1 libnetfilter_cttimeout.x86_64 0:1.0.0-6.el7_7.1 libnetfilter_queue.x86_64 0:1.0.2-2.el7_2 socat.x86 _64 0:1.7.3.2-2.el7 完毕! nodes NAME STATUS ROLES AGE VERSION node01 NotReady master 4m12s v1.18.2 配置集群
limits.conf 尾部添加 3.3 在 /etc/security/limits.d/20-nproc.conf尾部添加 3.4 在改/etc/sysctl.conf 尾部添加 3.5 重新加载 4.启动集群 fileOS2 node 192.168.10.137 fileOS3 node 2.软件环境 类型 参数 操作系统 CentOS7 java环境 jdk8 es elasticsearch-7.8.0 3.资源包 https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0 二、安装步骤 1.解压软件 代码如下(示例) 插件需要这打开这两个配置 http.cors.allow-origin: "*" http.cors.enabled: true http.max_content_length: 200mb #es7. x 之后新增的配置,初始化一个新的集群时需要此配置来选举 master cluster.initial_master_nodes: ["es-node-1"] #es7.x 之后新增的配置,节点发现 discovery.seed_hosts
Ceph] name=Ceph packages for $basearch baseurl=https://mirror.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/ ceph.bootstrap-mgr.keyring ceph.bootstrap-rgw.keyring ceph.conf ceph.mon.keyring 将配置文件和密钥复制到集群各节点 配置文件就是生成的ceph.conf,而密钥是ceph.client.admin.keyring,当使用ceph客户端连接至ceph集群时需要使用的密默认密钥,这里我们所有节点都要复制,命令如下。 used, 108 GiB / 114 GiB avail pgs: 默认情况下ceph.client.admin.keyring文件的权限为600,属主和属组为root,如果在集群内节点使用 在集群节点上面node1 admin用户下执行下面命令。
安装依赖: yum install lksctp-tools -y 下载emqtt: https://www.emqx.io/downloads/broker/v2.2.0/emqttd-centos7- v2.2.0.el7.centos.x86_64.rpm #安装 rpm -ivh --force emqttd-centos7-v2.2.0.el7.centos.x86_64.rpm #替换127.0.0.1 restart emqttd 浏览器打开 http://当前部署节点ip:18083/#/plugins 账号:admin 密码:public 确认emq_auth_mysql插件处于running状态 创建集群 emqttd@192.168.6.117', 'emqttd@192.168.6.119']}] 故障恢复 因端点或其他原因,会造成集群失败 ,则停掉不在在集群中的节点,删除相关文件后再次加入集群 systemctl stop emqttd rm -Rf /var/lib/emqttd/mnesia/* systemctl start emqttd
Ceph] name=Ceph packages for $basearch baseurl=https://mirror.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/ ceph.bootstrap-mgr.keyring ceph.bootstrap-rgw.keyring ceph.conf ceph.mon.keyring 将配置文件和密钥复制到集群各节点 配置文件就是生成的ceph.conf,而密钥是ceph.client.admin.keyring,当使用ceph客户端连接至ceph集群时需要使用的密默认密钥,这里我们所有节点都要复制,命令如下。 used, 597 GiB / 600 GiB avail pgs: 默认情况下ceph.client.admin.keyring文件的权限为600,属主和属组为root,如果在集群内节点使用 在集群节点上面node1 admin用户下执行下面命令。
kafka集群配置--3台机器 1、安装jdk1.8 下载jdk-8u431-linux-x64.rpm 查看有没有安装jdk rpm -qa | grep jdk 有的话卸载 yum -y remove Master_Kafka_002:2888:3888 server.2=CentOS7_Master_Kafka_003:2888:3888 server.3=CentOS7_Master_Kafka_ Master_Kafka_002:2181,CentOS7_Master_Kafka_003:2181,CentOS7_Master_Kafka_004:2181 机器2执行 cd /usr/local Master_Kafka_002:2181,CentOS7_Master_Kafka_003:2181,CentOS7_Master_Kafka_004:2181 #cluster2.zk.list=xdn10 /bin/flume-ng avro-client --host CentOS7_Master_Kafka_001 --port 44444 --filename .
data # 配置文件保存退出后,进入data目录 cd data # 生成myid文件,指定myid服务号 echo "1" > myid 4、将zookeeper目录分发到其他节点 # 分发到其他集群节点 2 vim myid 登录bigdata03 节点: cd /data/soft/zookeeper/conf/data # 指定myid服务号为3 vim myid 编写操作zookeeper集群的脚本 /zk.sh 脚本的命令说明: # 启动集群命令 ./zk.sh start # 停止集群命令 ./zk.sh stop # 查看集群状态命令 . /zk.sh status 8、连接zookeeper集群 # 连接zookeeper集群 cd /opt/module/zookeeper ./bin/zkCli.sh
rabbitmq-erlang.repo [rabbitmq-erlang] name=rabbitmq-erlang baseurl=https://dl.bintray.com/rabbitmq/rpm/erlang/20/el/7 Server 在http://www.rabbitmq.com/install-rpm.html#install-erlang 最上方点击下载rabbitmq-server-3.7.4-1.el7. dl.bintray.com/rabbitmq/Keys/rabbitmq-release-signing-key.asc yum install rabbitmq-server-3.7.4-1.el7. 另外两个节点加入到s186中,在另外两台上执行 rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster rabbit@s186 集群搭建完毕后 ,查看集群状态 [root@s186 /var/lib/rabbitmq]#rabbitmqctl cluster_status Cluster status of node rabbit@s186
软件版本 服务 版本 操作系统 Centos7 Elasticsearch 7.6 Kibana 7.6 Logstash 7.6 cerebro 0.8.1 JDK java-1.8.0-openjdk.x86 elasticsearch-17 software]# grep -vE '#' /etc/elasticsearch/elasticsearch.yml cluster.name: myels # 集群名称 http.port: 9200 # http端口 discovery.seed_hosts: ["192.168.3.17", "192.168.3.27","192.168.3.28"] #集群主机列表 cluster.initial_master_nodes: ["node-1"] #启动全新的集群时需要此参数,再次重新启动时此参数可免。 集群初始化master节点 http.cors.enabled: true #是否开启跨域访问 http.cors.allow-origin: "*" #开启跨域访问后的地址限制,*表示无限制 启动
Hadoop集群部署教程-P7 Hadoop集群部署教程(续) 第二十五章:安全加固与权限控制 25.1 Kerberos认证集成 KDC服务配置: # 安装KDC服务 yum install krb5 conditions": [ {"type": "access-time", "values": {"days": "mon-fri"}} ] } ] } 第二十六章:多集群联邦部署 hdfs://cluster1/data ├── /logs -> hdfs://cluster2/logs └── /archive -> hdfs://cluster3/archive 26.2 跨集群数据同步 name: hadoop-data 27.2 持久化存储方案 存储类型 适用场景 性能指标 hostPath 开发测试环境 低延迟 NFS 中小规模生产 吞吐量50MB/s Ceph RBD 大规模集群
概述 集群安装或者单机安装都可以,这里介绍集群安装。Kafka本身安装包也自带了zookeeper,也可以使用其自带的zookeeper。 安装环境 3台centos7虚拟机:10.15.21.62 10.10.182.168 10.10.182.169 kafka_2.10-0.10.2.0 zookeeper-3.4.9 jdk cd /opt/kafka/ wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.10-0.10.2.0.tgz Zookeeper集群搭建 /zkServer.sh status Kafka集群搭建 修改配置文件 cd /opt/kafka/kafka_2.10-0.10.2.0/config/ vi server.config # The 在集群每个主机内执行: cd /opt/kafka/kafka_2.10-0.10.2.0/bin/ .
redis install 如果出现: zmalloc.h:50:31: 致命错误:jemalloc/jemalloc.h:没有那个文件或目录 执行下命令: sudo make MALLOC=libc 集群配置 sudo cp /usr/local/src/redis-4.0.9/redis.conf /usr/local/redis/bin/ 修改为后台启动模式: daemonize yes 启动集群: cluster-enabled 搭建集群 构建集群的脚本需要用到Ruby来进行执行。 等待的过程中开发了16379和16380端口 集群设置密码 分别针对不同的机器,不同的服务器执行以下操作,注意端口替换。 /redis-trib.rb check 172.1.1.1:6379 [ERR] Sorry, can't connect to node 172.1.1.1:6379 找到建立集群时执行以下命令生成的
[root@node11~]## systemctl start ntpd //启动ntp服务 [root@node11~]## systemctl status ntpd //查看ntp服务状态 7、 / 1、安装Cloudera Manager Server&Agent 上传到/home/tools下 (三台机器都要安装) tar xvzf cloudera-manager-centos7- 7、Server&Agent开机自启动服务 将/opt/cm-5.15.0/etc/init.d/目录下的cloudera-scm-server服务器启动脚本和cloudera-scm-agent代理服务启动脚本复制到 mysql-connector-java.jar 到 /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hive/lib/下面 点击继续,默认集群设置
环境说明: 服务器(系统版本CentOS 7) elasticsearch版本: elasticsearch-6.2.2 elasticsearch目录: /home/soft/ 192.168.33.10 /bin/elasticsearch 启动成功之后,用CURL 请求测试集群是否搭建成功。 v Elasticsearch集群的简单搭建 此时,一个简单的集群已经搭建成功,现在是node-12为master节点。 在启动过程中遇到的问题列表: 1.Elasticsearch集群的简单搭建 解决办法: vim /etc/security/limits.conf,新加两行: es soft nofile 65536 es hard nofile 65536 2.Elasticsearch集群的简单搭建 解决办法: discovery.zen.ping.unicast.hosts配置信息时把端口加上
https://blog.csdn.net/pucao_cug/article/details/71698903
(图片可放大查看) 三、CentOS7下搭建ClickHouse集群 1、基础环境介绍 三台CentOS7.9服务器(均可以访问互联网) node1 192.168.31.121 node2 192.168.31.122 /bin/bash #wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo #sed yum.repos.d/CentOS-Base.repo #wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7. (图片可放大查看) -- 2)、集群<remote_server>配置,<zookeeper>配置,以及 <macros>配置修改 ? (图片可放大查看) ? (图片可放大查看) 可以看到 cluster_clickhouse名称的集群信息说明集群搭建成功 clickhouse集群的简单搭建就介绍到这里 公众号后台回复clickhouse获取clickhouse.zip