- 综合排序
- 最热优先
- 最新优先
- 来自专栏java编程那点事
HA
-- ns1下面有两个NameNode，分别是nn1，nn2 --> <property> <name>dfs.ha.namenodes.ns1</name> -- 开启NameNode失败自动切换 --> <property> <name>dfs.ha.automatic-failover.enabled</name> -- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--> <property> <name>dfs.ha.fencing.methods</name> -- 使用sshfence隔离机制时需要ssh免登陆 --> <property> <name>dfs.ha.fencing.ssh.private-key-files -- 配置sshfence隔离机制超时时间 --> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name
65810编辑于 2023-02-25 - 来自专栏java编程那点事
Flink HA ZooKeeper
修改配置文件 修改flink-conf.yaml HA模式下，jobmanager不需要指定，在master file中配置，由zookeeper选出leader与standby。 bigdata13:2181 #ZooKeeper仲裁是ZooKeeper服务器的复制组，它提供分布式协调服务（必须） high-availability.storageDir:hdfs:///flink/ha 2888:3888 修改conf/masters bigdata11:8081 bigdata12:8081 修改slaves bigdata12 bigdata13 同步配置文件conf到各节点 启动HA 测试环境中也可以用Flink自带的start-zookeeper-quorum.sh），启动dfs ,再启动flink start-cluster.sh WebUI查看，这是会自动产生一个主Master 验证HA
1.1K10编辑于 2023-02-25 - 来自专栏John Wong's Blog
部署 HA 环境
在部署生产可用的 kubernetes 集群之前，需要先部署 LoadBalancer 环境，这里使用 keepalived + haproxy 的方式实现负载均衡和高可用。
1.1K10编辑于 2021-12-23 - 来自专栏公有云大数据平台弹性 MapReduce
NameNode 高HA
rBAoL1-Q20mAN44lAAO6uDAqdEA653.png 一、HA原理和架构 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问 配置值最后的/mycluster作为存储的根路径，多个HA可公用服务器进行数据存储，节约服务器成本。因此每个HA服务的根路径不能一样，便于区分. id\_rsa</value> </property> •dfs.ha.automatic-failover.enabled 开启故障自动切换 <property> <name>dfs.ha.automatic-failover.enabled 将通过mycluster结合hdfs配置中的dfs.nameservices和dfs.ha.namenodes.HDFS80476找到该服务下的所有nn，确认主节点。 《高HA配置说明》 19.《Hadoop NameNode 高可用 (High Availability) 实现解析》 rBAoL1-Q20mAN44lAAO6uDAqdEA653.png
13.2K156发布于 2019-03-18 - 来自专栏笨兔儿
Prometheus HA详解
Prometheus HA详解 以下所有操作都是在k8s集群中完成，如果你是VM或者物理机在配置方面不会有太大区别; Prometheus 横向扩展 当Exporter或者采集信息需要越来越多时就会考虑高可用
1.7K20发布于 2019-05-26 - 来自专栏大数据进阶
hadoop ha搭建
192.168.1.8:2888:3888 server.2=192.168.1.9:2888:3888 修改zoo.cfg，创建对应的目录，在data目录下创建myid文件，一切完毕后进行启动 hadoop-ha > <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/ha </value> </property> <property> <name>ha.zookeeper.quorum</name> 已经搭建完毕 查看状态的命令 bin/hdfs haadmin -getServiceState <id> 下面说说yarn ha的搭建 <? --启用resourcemanager ha--> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true<
85610发布于 2020-04-24 - 来自专栏java编程那点事
Flink Yarn Cluster & HA
停止yarn cluster yarn application -kill application_1539058959130_0001 Yarn模式的HA 应用最大尝试次数（yarn-site.xml 申请尝试（flink-conf.yaml），您还必须配置最大尝试次数 conf/flink-conf.yaml yarn.application-attempts：10 示例：高度可用的YARN会话 配置HA bigdata12:2888:3888 server.3=bigdata13:2888:3888 启动ZooKeeper仲裁： $ bin / start-zookeeper-quorum.sh 启动HA
1.4K20编辑于 2023-02-25 - 来自专栏温球良的专栏
Hadoop HA 机制学习
网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要是介绍HA是怎么运作，QJM又是怎么发挥功效的。 一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。 不可用 所以对于替代方案而言，也必须解决NAS相关缺陷才能让HA更好服务。 即设备无须定制化，普通设备即可配置HA，部署简单，相关配置集成到系统本身，无需自己定制，同时元数据的同步也必须保证完全HA，不会因client问题而同步失败。 希望这篇文章能让大家更深入了解关于HA方面的知识。
3.9K00发布于 2017-10-17 - 来自专栏John Wong's Blog
部署 Mariadb HA 环境
部署 keepalived 的主要作用是为 Mariadb 提供 vip，在2个 Mariadb 实例之间切换，不间断的提供服务。
1.2K40编辑于 2021-12-27 - 来自专栏java编程那点事
Flink 的 HA简介
对于 Standalone 来说，Flink 必须依赖于 Zookeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。 对于 Yarn Cluaster 模式来说，Flink 就要依靠 Yarn 本身来对 JobManager 做 HA 了。其实这里完全是 Yarn 的机制。
63820编辑于 2023-02-25 HDFS HA 高可用
HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。 HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障（SPOF）。 NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用HDFS HA HDFS-HA 工作机制 通过双 NameNode 消除单点故障 HDFS-HA 工作要点 1.元数据管理方式需要改变 内存中各自保存一份元数据；Edits 日志只有 Active 状态的 NameNode ，即使现役NameNode 已经失效，系统也不会自动从现役 NameNode 转移到待机 NameNode，下面学习如何配置部署 HA 自动进行故障转移。
18000编辑于 2025-12-23- 来自专栏黑泽君的专栏
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
---- 第8章 HDFS HA 高可用 8.1 HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。 HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 8.2 HDFS-HA工作机制 通过双NameNode消除单点故障。 8.2.2 HDFS-HA手动故障转移工作机制 ? 8.2.3 HDFS-HA自动故障转移工作机制 ? HA 3、将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下 cp -r hadoop-2.7.2/ /opt/HA/ 4、配置hadoop-env.sh export JAVA_HOME
2.2K30发布于 2019-02-25 - 来自专栏字节脉搏实验室
VulnHub-HA_Chanakya
作者-purplet HackTheNmae：HA Chanakya The Mastermind that took down kingdoms is back and this time he has 下载地址：https://www.vulnhub.com/entry/ha-chanakya,395/ 难度：中等 目的：拿到 192.168.194 .128的 Root 权限 靶机IP：192.168.194.128
86240发布于 2020-10-27 - 来自专栏云数据仓库 PostgreSQL
Greenplum的HA实践
GP集群的 Primary MasterA节点部署一个备份节点，即Slava Master B节点。
3.6K103发布于 2018-10-26 - 来自专栏运维录
Nginx HA 高可用
壹 ---- 今天的这篇文章发布于 2014年06月，是介绍如何实现 Nginx HA(高可用)，主角是 keepalived，这个软件很好用是大名鼎鼎LVS(Linux虚拟服务器)的黄金搭档，为LVS 这里出于篇幅考虑，没有对keepalived 进行详细说明，而是注重是否实现了nginx HA这个功能，后续写负载均衡系&高可用列专题会详细说明。
2.1K20发布于 2019-11-19 - 来自专栏全栈程序员必看
eXtremeDB HA synchronization procedure
Masterand replica databases have a ha_sequencer – 64bit integer which is initializedby zero at startup So after the transaction was committed, thevalues of the ha_sequencer are the same on the master and Whenthe replica connects to the master, it sends the value of ha_sequencer.
53520编辑于 2022-09-27 - 来自专栏Jed的技术阶梯
Spark HA集群搭建
SPARK_WORKER_CORES=1 # 每一个Worker最多可以使用的内存，我的虚拟机就2g # 真实服务器如果有128G，你可以设置为100G export SPARK_WORKER_MEMORY=1g # 在非HA 配置中，配置了SPARK_MASTER_HOST和SPARK_MASTER_PORT # HA就不用了，让Zookeeper来管理 # 设置zookeeper集群的地址，这个配置有点长，但一定要写到一行 Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/spark/ha spark HA集群搭建成功！
1.7K30发布于 2018-09-13 - 来自专栏千里行走
kubernetes-2：helm实战-1：生产级别的elasticsearch集群部署
helm repo add elastic https://helm.elastic.co
4.4K20发布于 2019-07-03 - 来自专栏挖掘大数据
详解Hadoop HA 如何运作
网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要是介绍HA是怎么运作，QJM又是怎么发挥功效的。 一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。 不可用 所以对于替代方案而言，也必须解决NAS相关缺陷才能让HA更好服务。 即设备无须定制化，普通设备即可配置HA，部署简单，相关配置集成到系统本身，无需自己定制，同时元数据的同步也必须保证完全HA，不会因client问题而同步失败。 希望这篇文章能让大家更深入了解关于HA方面的知识。
1.8K50发布于 2018-01-16 - 来自专栏数据库PG
Redis HA 实践（Redis Sentinel）
官方文档：https://redis.io/topics/sentinel Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时
1.7K30发布于 2021-03-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号