- 综合排序
- 最热优先
- 最新优先
- 来自专栏后台及大数据开发
kubernetes集群搭建（9）：docker 镜像的导入与导出
由于K8s搭建时官方提供的镜像不FQ是访问不了的，所以搭建过程中很多时间都耗费在去找镜像去了 下面是我搭建k8s集群用到的镜像 没有采用之前我用的二进制文件搭建（dns没成功），这里采用的Kubeadm
3.4K10发布于 2018-08-02 - 来自专栏技术杂记
etcd 集群9
使用环境变量运行新节点，将节点加入集群 [root@h102 etcd-v2.2.4-linux-amd64]# ETCD_NAME="new-h102" ETCD_INITIAL_CLUSTER=" =http://192.168.100.102:2379 [root@h102 etcd-v2.2.4-linux-amd64]# Note: 如果要添加多个节点，建议一次只添加一个，然后检查节点和集群运行状态正常后再依次逐个添加其它节点
50110编辑于 2022-01-19 - 来自专栏技术杂记
ELK 搭建9
效果还是很明显的，有了格式化的输出 Tip: A Logstash pipeline has two required elements, input and output , and one optional element, filter . The input plugins consume data from a source, the filter plugins modify the data as you specify, and the output plugins write the
30210编辑于 2022-02-11 - 来自专栏程序员同行者
redis集群搭建
2、redis版本 ：最新稳定版3.0.6 3、安装配置 安装目录：/usr/local/src/redis-3.0.6/src/ 配置文件：/et/redis_630{0,1}.conf 二、搭建 root@wh-52 src]# cd redis-3.0.6 [root@wh-52redis-3.0.6]# make [root@wh-52redis-3.0.6]# make test 2、集群创建准备 3、创建集群 #选举规则 节点角色由启动顺序决定,先master之后是slave，本文中6300是master，6301是slave 初始化集群 [root@wh-53 etc]# /usr/local 192.168.1.59:6300 192.168.1.87:6300 192.168.1.55:6301 192.168.1.59:6301 192.168.1.87:6301 查看集群状态 后期继续集群理论的学习。 不要让懒惰占据你的大脑，不让要妥协拖跨你的人生。青春就是一张票，能不能赶上时代的快车，你的步伐掌握在你的脚下，good luck
1.5K40发布于 2018-07-24 - 来自专栏DevOps
spark 集群搭建
集群规划 node01为master节点,node02,node03为worker节点 192.168.24.102 node01 192.168.24.103 node02 集群配置 以下操作以node01为操作节点 1. 浏览 http://node01:8080/ 9. 搭建Spark HA 1. 修改配置文件 以node02 作为备用主节点，则修改node02的 vi spark-env.sh SPARK_MASTER_IP = node02 集群启动 HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群
93710编辑于 2024-03-29 - 来自专栏学习内容
Hadoop集群搭建
一、运行环境配置(所有节点) 所有集群服务，都需要配置 1、基础配置 关闭防火墙，关闭防火墙开机自启 systemctl stop firewalld systemctl disable firewalld 如果集群是第一次启动，需要在hadoop001节点格式化NameNode。 （注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。 如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。） /home/lydms/bin/myhadoop.sh stop /home/lydms/bin/myhadoop.sh start 9、其它 9.1 常用端口号 端口名称 Hadoop2.x Hadoop3
1.9K20编辑于 2023-08-10 - 来自专栏兮动人的博客
Hadoop 集群搭建
Hadoop 集群简介 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 ? ? 逻辑上分离 两个集群互相之间没有依赖、互不影响 物理上在一起 某些角色进程往往部署在同一台物理服务器上 MapReduce集群呢? MapReduce是计算框架、代码层面的组件没有集群之说 ? 2. Hadoop 部暑模式 ? 3. Hadoop 集群安装 step1:集群角色规划 角色规划的准则 根据软件工作特性和服务器硬件资源情况合理分配 比如依赖内存工作的NameNode是不是部署在大内存机器上? -- yarn集群主角色RM运行机器。
2.1K20发布于 2021-06-11 - 来自专栏性能与架构
Hadoop 集群搭建
目标 在3台服务器上搭建 Hadoop2.7.3 集群，然后测试验证，要能够向 HDFS 上传文件，并成功运行 mapreduce 示例程序 搭建思路 （1）准备基础设施 准备3台服务器，分别命名为 配置完成后，把 master 上的 hadoop 目录复制到 slave1 slave2 （3）启动 hadoop 在 master 中进行 hdfs 初始化，执行启动命令，打开相应网页查看状态信息 搭建过程 可以正常访问的话，可以说明集群启动成功了，但不一定可以正常运行，还需要下面的实际验证 测试验证 （1）hdfs 操作 创建目录 $ hdfs dfs -mkdir -p /user/hadoop 注：在执行过程中，如果长时间处于 running 状态不动，虽然没有报错，但实际上是出错了，后台在不断重试，需要到 logs 目录下查看日志文件中的错误信息 环境搭建完成，内容较长，感谢阅读，希望对想要搭建
5.7K91发布于 2018-04-04 - 来自专栏从零开始的linux
搭建Hadoop集群
环境说明 redhat6.7 hadoop2.7 角色 主机名 IP master node01 192.168.6.71slave node02 192.168.6.72Slave node03 192.168.6.73 配置 vim /etc/hosts 192.168.6.71 node01
2.6K60发布于 2018-04-25 - 来自专栏Java工程师成长之路
ElasticSearch集群搭建
需求 用docker搭建一个ElasticSearch一主一从的集群，加一个elasticsearch-head查看集群状态 步骤 在参考了一堆博客后，我写了个固定容器ip的docker-compose.yml
1K20发布于 2019-09-10 - 来自专栏python3
kafka集群搭建
数量越多，集群吞吐率越高）， 若干Consumer Group，以及一个Zookeeper 集群。 看上面一张图，要想做kafka集群，有几个关键点 1. 三、正式搭建 环境介绍 操作系统 docker镜像 docker ip 部署软件以及版本 ubuntu-16.04.5-server-amd64 ubuntu:16.04 172.168.0.2 zookeeper 关于zookeeper集群的搭建，请参考链接： https://www.cnblogs.com/xiao987334176/p/10103619.html 本文使用5个kafka节点，构造kafka集群 21 hours ago Up 21 hours 0.0.0.0:2183->2181/tcp gallant_golick 3b4861d2fef9
1.5K10发布于 2020-02-21 - 来自专栏浅枫沐雪
搭建zookeeper集群
7 2019 build.xml drwxr-xr-x 2 2002 2002 77 3月 7 2019 conf drwxr-xr-x 2 root root 6 9月 7 2019 lib -rw-rw-r-- 1 2002 2002 11970 3月 7 2019 LICENSE.txt drwxr-xr-x 2 root root 6 9月
86471发布于 2020-03-10 - 来自专栏晓晨的专栏
Jenkins 集群搭建
一.前言 Jenkins是当下比较流行的一款功能强大的持续集成工具，它支持搭建集群，来提高多项目的构建速度，模式为主从模式，master会将任务分配到各个从节点进行并发构建，从而提高速度，下面介绍一下如何搭建 Jenkins集群。
2.6K50发布于 2018-07-12 - 来自专栏Bigdata
HBase集群搭建
6、HBase的集群环境搭建 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0 export PATH=:$HBASE_HOME/bin:$PATH 第七步：HBase集群启动
1.5K00发布于 2020-12-22 - 来自专栏算法之名
elasticsearch集群搭建
elasticsearch.yml,node.name与network.host需要每台机不同. cluster.name: aubin-cluster # 集群名称 # 当前节点的IP地址 http.port: 9200 # 对外提供服务的端口，9300为集群服务的端口
79920发布于 2019-08-20 - 来自专栏三丰SanFeng
zookeeper集群搭建
最近公司用到了zookeeper做集群管理，这里按步骤记录一下其中的一些经验，也给后来的同学一些参考。由于这里只有一台服务器，因此搭建的其实是伪集群，多台服务器的搭建流程类似。 集群搭建环境： 发行版：CentOS-6.6 64bit 内核：2.6.32-504.el6.x86_64 CPU：intel-i7 3.6G 内存：2G 集群搭建步骤： 1. 说明进程启动失败或集群未建立成功，这时需要查看对应目录中的zookeeper.out日志去找到相应的原因并去解决它。 8. 测试连接zookeeper集群 [root@rocket local]# cd zookeeper-server1;bin/zkCli.sh -server localhost:2181 ? 可以看到这里已经连接成功了，而且能查看节点情况，说明zookeeper集群已经开始工作了。 版权声明：本文为博主原创文章，未经博主允许不得转载。
1.3K70发布于 2018-01-16 - 来自专栏开源部署
Minio 集群搭建
https://docs.minio.io/docs/distributed-minio-quickstart-guide https://github.com/minio/minio-service
1.6K20编辑于 2022-07-31 - 来自专栏JAVA同学会
kafka集群搭建
一、zookeeper集群搭建 略，请参考其他文档，这里不再赘述。 二、下载kafka 从kafka官网下载kafka_2.11-0.11.0.0.tgz，并解压。 tar -zxvf kafka_2.11-0.11.0.0 三、kafka配置修改 这里我们仅以两台kafka实例做集群。 zookeeper.connect ：将zookeeper集群的地址和端口写上。 num.partitions=1 ：每个topic的partition默认数量。 将两台机器的kafka启动，集群搭建完毕。 集群搭建就是这么简单。
1K20发布于 2019-02-25 - 来自专栏玩转JavaEE
Redis集群搭建
主从的搭建差不多说完了，本文我们来看看集群如何搭建。 Redis集群架构如下图： ? ruby版本可能不适用，如果安装失败，可以参考这篇文章解决(https://blog.csdn.net/fengye_yulu/article/details/77628094) 集群搭建 首先我们对集群做一个简单规划 7008 192.168.31.135:7007 其中79bbb30bba66b4997b9360dd09849c67d2d02bb9是7007的编号。 /redis-trib.rb del-node 127.0.0.1:7005 4b45eb75c8b428fbd77ab979b85080146a9bc017 注意4b45eb75c8b428fbd77ab979b85080146a9bc017 好了，redis集群搭建我们先说这么多，有问题欢迎留言讨论。
1.4K11发布于 2018-07-31 - 来自专栏python成长之路
搭建Redis集群
为什么要有集群 上一篇随笔说了基本的主从概念以及搭建，一主可以有多从，如果同时访问的量过大(1000w)或者发生自然灾难,主服务肯定就会挂掉，数据服务就挂掉了 大公司都会有很多的服务器(华东地区、华南地区 一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 ? 当请求到来首先由负载均衡服务器处理，把请求转发到另外的一台服务器上。 搭建集群 当前拥有两台主机172.16.179.130、172.16.179.131，这⾥的IP在使⽤时要改为实际值 参考阅读 redis集群搭建 http://www.cnblogs.com/wuxl360 /p/5920330.html [Python]搭建redis集群 http://blog.5ibc.net/p/51020.html 接下来我们开始搭建，大家可以跟着我一起搭建试试，关键步骤我都会贴出来 提示完成，集群搭建成功 数据验证 根据上图可以看出，当前搭建的主服务器为7000、7001、7003，对应的从服务器是7004、7005、7002 在172.16.179.131机器上连接7002，加参数
1.2K30发布于 2019-02-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号