- 综合排序
- 最热优先
- 最新优先
- 来自专栏最新最全的大数据技术体系
DolphinScheduler2.x 伪分布式部署
DolphinScheduler2.x 伪分布式部署 DolphinScheduler 部署说明 1 软硬件环境要求 1.1 操作系统版本要求 操作系统 版本 Red Hat Enterprise Linux 部署模式 DolphinScheduler 支持多种部署模式，包括单机模式（Standalone）、伪集群模式（Pseudo- Cluster）、集群模式（Cluster）等。 2.2 伪集群模式 伪集群模式（Pseudo-Cluster）是在单台机器部署 DolphinScheduler 各项服务，该模式 下 master、worker、api server 、logger 2.3 集群模式 集群模式（Cluster）与伪集群模式的区别就是在多台机器部署 DolphinScheduler 各项服 务，并且 Master、Worker 等服务可配置多个。 （1）创建数据库 （2）创建用户 *注：* 若出现以下错误信息，表明新建用户的密码过于简单。
67000编辑于 2024-05-26 - 来自专栏全栈程序员必看
Hadoop伪分布式安装_伪分布式安装
JAVA_HOME/jre/bin 使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/… 2.
41920编辑于 2022-08-04 - 来自专栏行者悟空
Hadoop 2.x 伪分布式环境搭建
摘 要 体验一下Hadoop2.x版本在单机环境下是如何安装配置。 代码如下： mkdir /itunic 将hadoop解压到itunic目录下 tar -zxvf hadoop.2.7.0.tar.gz -C /itunic 配置hadoop 注意：hadoop2. x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 1、hadoop-env.sh 打开文件 vi hadoop-env.sh 配置jdk所在的位置 #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_79 2、core-site.xml <! etc/profile 格式化namenode #两种方式，选其一即可 hadoop namenode -format hdfs namenode -format 启动及验证 到了这一步，hadoop伪分布式环境已经配置完成
59920发布于 2018-06-22 - 来自专栏csdn_blog
Hadoop伪分布式搭建（hadoop2.x通用）
Hadoop伪分布式搭建 1. 先关闭防火墙（建议） 2. 配置免密钥 3. 解压安装jdk和hadoop并配置环境变量 4. 配置core-site.xml 5. firewalld.service; disabled; vendor preset: enabled) Active: inactive (dead) Docs: man:firewalld(1) 2. Runtime Environment (build 1.8.0_262-b10) OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode) （2） 帮助： hdfs hdfs dfs （2）浏览器查看web UI: http://你的IP:50070 ? 10.2 启动yarn start-yarn.sh ?
1K10发布于 2020-09-22 - 来自专栏个人分享
Hbase伪分布式
然后启动hbase即可，但我发现查询时报错啊。。报错信息被刷掉了- -大概错误是：
80730发布于 2018-09-06 - 来自专栏软件开发-青出于蓝
Spark之伪分布式搭建、伪分布式Hadoop、Hive安装
List-2 spark-submit --class com.mjduan.project.SimpleApp --master spark://mjduan-host:7077 Spark-helloworld.jar 的配置文件，参考: https://stackoverflow.com/questions/40603714/hive-is-not-allowed-to-impersonate-hive Spark伪分布式的安装
89250发布于 2019-04-15 - 来自专栏数据科学专栏
大数据必知必会：Zookeeper（2）伪分布式安装
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz图片伪分布式安装伪分布式是在单机环境下采用多个 伪分布式模式下需要3个节点，每个节点使用独立的配置文件，所以将配置文件复制3份。 伪分布式集群中，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，要分配不同的端口号。 cd apps/apache-zookeeper-3.8.0-bin启动Zookeeper由于伪分布式中的每个进程需要使用独立的配置文件，所以在启动进程的时候需要指定配置文件。 图片在节点2上进行验证。图片在节点3上进行验证。图片Leader重选验证当前状态下节点2是Leader，停止节点2的进程，查看其他两个节点的状态。
64620编辑于 2023-01-29 - 来自专栏数据科学专栏
大数据必知必会：Hadoop（2）伪分布式安装
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz图片伪分布式安装伪分布式是在一个节点上运行多个进程来模拟集群 配置免密登录Hadoop伪分布式集群的运行，需要配置密钥对实现免密登录。 hadoop-3.3.4export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH让环境变量生效：source ~/.bashrc配置文件除了配置环境变量，伪分布式模式还需要对 prints container(s) reportenvvars display computed Hadoop environment variablesfs2cs dfsadmin1 dfs.replication1 dfs.namenode.name.dir1 dfs.datanode.data.dir验证案例2，
73380编辑于 2023-02-07 - 来自专栏zingpLiu
Hadoop伪分布式搭建
CentOS Description: CentOS Linux release 7.5.1804 (Core) Release: 7.5.1804 Codename: Core 2 Chassis: vm Machine ID: a34d80dce9364980962f9d85ffb5e9c8 Boot ID: d624e2a84dc34619bfa2fe90e88eb058 </property> <property> <name>dfs.replication</name> <value>2<
1K60发布于 2019-07-25 - 来自专栏Golang开发
Hadoop伪分布式配置
Found 2
91320发布于 2019-08-24 - 来自专栏青灯古酒
Hadoop伪分布式安装
Hadoop伪分布式安装 安装环境：Centos7.5，只少2核4G 提前准备：Linux中要安装JDK8，Zookeeper-3.5.7 1. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2. 编辑文件 vim workers ------- 注意，如果是在Hadoop2.X，那么这个文件是slaves 将原来的localhost删除掉，然后添加当前主机的主机名 16. 如果出现了Name or Service not known或者是UnknownHost之类的问题，那么检查hosts文件是否配置正确，或者是主机名是否写对 2.
70480编辑于 2023-10-16 - 来自专栏姜同学
Hadoop伪分布式搭建
关闭防火墙 2. 安装JDK 3.
67620编辑于 2022-10-27 - 来自专栏工作笔记精华
hdfs伪分布式搭建，伪分布式模式下yarn的配置及测验
bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH （2） install sshd 检查ssh和sshd是否安装： sudo service sshd status 开启ssh服务: sudo service sshd start 2. http://192.168.2.130:50070，就能看到hadoop的界面 【伪分布式模式下，配置yarn】 （1）配置etc/hadoop/mapred-site.xml 先复制一个cp DataNode 69907 ResourceManager 70354 Jps 69487 SecondaryNameNode 70015 NodeManager 69198 NameNode （5）测试伪分布式模式下的 2 yarn 2
96510发布于 2019-03-05 - 来自专栏Jed的技术阶梯
Hadoop伪分布式集群搭建
把hadoop安装包上传到服务器并解压 [root@repo ~]# tar zxvf hadoop-2.6.5.tar.gz -C /opt/apps/ 2. 修改 core-site.xml 和 hdfs-site.xml 配置文件，配置伪分布式相关的内容 [root@repo hadoop]# vi core-site.xml <configuration
1.2K10发布于 2018-09-13 - 来自专栏Jed的技术阶梯
Spark伪分布式集群搭建
解压后如果感觉安装目录的名称太长可以修改一下 [root@repo soft]# cd /opt [root@repo opt]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0 (2) cpu core的个数，我虚拟机就一个... # 真实服务器如果有32个，你可以设置为32个 export SPARK_WORKER_CORES=1 # 每一个Worker最多可以使用的内存，我的虚拟机就2g slaves [root@repo conf]# vim slaves # 里面的内容原来为localhost，改为repo repo # 伪分布式就一台机器，用localhost也可以 # 但我们毕竟搭建的是伪分布式集群 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin [root@repo conf]# source /etc/profile (5) 启动spark伪分布式集群 spark伪分布式集群搭建成功！
1.8K10发布于 2018-09-13 - 来自专栏开源心路
hadoop伪分布式搭建01
="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="ce22eeca-ecde-4536-8cc2- iptables off 设置 1.5重启Linux reboot 在Windows ping Linux 的ip 在 Linux ping Windows的ip 2.
35210编辑于 2023-06-27 - 来自专栏JavaEdge
HDFS伪分布式环境搭建
论文发表于2003年，HDFS是GFS的克隆版 1.2 HDFS的设计目标： 非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展、为用户提供性能不错的文件存储服务 HDFS官方文档地址 2 HDFS HDFS是主/从式的架构，一个HDFS集群会有一个NameNode以及多个DataNode 一个文件会被拆分为多个数据块进行存储，默认数据块大小是128M 即便一个数据块大小为130M，也会被拆分为2个 Block，一个大小为128M，一个大小为2M HDFS是使用Java编写的，使得其可以运行在安装了JDK的操作系统之上 NN 负责客户端请求的响应 负责元数据（文件的名称、副本系数、Block存放的DN 剩余的副本就完全随机节点了 可以看出这个方案比较合理 可靠性：block存储在两个机架上 写带宽：写操作仅仅穿过一个网络交换机 读操作：选择其中得一个机架去读 block分布在整个集群上 5 HDFS伪分布式环境搭建 jdk1.8/ # 根据你的环境变量进行修改 编辑 hadoop-env.sh 文件 export JAVA_HOME=${/usr/libexec/java_home} 由于我们要进行的是单节点伪分布式环境的搭建
47410编辑于 2021-12-07 - 来自专栏云原生实践
Hadoop单机伪分布式部署
Hadoop 在单节点上以伪分布式模式运行，其中每个 Hadoop 守护进程在单独的 Java 进程中运行。 部署过程： 1.修改映射文件 vim /etc/hosts 在最末尾添加 192.168.0.9 master 2.上传jdk和hadoop的压缩包并解压 tar -xvzf hadoop-3.2.2. hadoop.tmp.dir</name> <value>/usr/local/hadoop/data/tmp</value> </property> </configuration> （2） 23535 SecondaryNameNode 25935 ResourceManager 查看HDFS web ui，端口9870 查看YARN web ui， 端口8088 到此hadoop单机伪分布式部署完成
54420编辑于 2022-09-01 - 来自专栏程序猿的大杂烩
HDFS伪分布式环境搭建
Block，一个大小为128M，一个大小为2M HDFS是使用Java编写的，使得其可以运行在安装了JDK的操作系统之上 NN： 负责客户端请求的响应 负责元数据（文件的名称、副本系数、Block存放的 ---- HDFS伪分布式环境搭建 官方安装文档地址如下： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist cdh5.7.0/etc/hadoop]# vim hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8/ # 根据你的环境变量进行修改 由于我们要进行的是单节点伪分布式环境的搭建 </name> # 指定只产生一个副本 <value>1</value> </property> </configuration> 然后配置一下密钥对，设置本地免密登录，搭建伪分布式的话这一步是必须的 到此，我们伪分布式的hadoop集群就搭建完成了。 ---- HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop，既然环境已经搭建起来了，那要怎么去操作呢？
79310发布于 2020-09-23 - 来自专栏张恒的网络日志
记hadoop伪分布式安装
install java-1.8.0-openjdk-devel 安装完后，修改/etc/profile，添加JAVA_HOME变量 export JAVA_HOME=/usr/lib/jvm/java 2. 3.3.0 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af local/hadoop/share/hadoop/common/hadoop-common-3.3.0.jar 3. hadoop配置 此时hadoop已经是可以以单机方式运行，为了将hadoop配置成伪分布式
69410发布于 2020-12-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号