首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏迁移内容

    日常问题——pdsh localhost Connection refused

    问题描述: 本地安装hadoop单机模式的时候需要启动namenode时报错 pdsh@xxx: localhost: connect: Connection refused 解决方案(过程): 原因是 pdsh默认采用的是rsh登录,修改成ssh登录即可,在环境变量/etc/profile里加入: export PDSH_RCMD_TYPE=ssh 再source profile生效。

    80010编辑于 2022-12-01
  • 来自专栏开源部署

    CentOS 6.5下安装Ambari

    Linux系统:CentOS 6.5 一、准备工作: 1.基本工具 yum rpm scp curl wget pdsh 前几个一般系统都自带了,pdsh需要自己装 : yum install pdsh 这个命令没有成功执行 自己下载pdsh.tar.bz2,用tar -jxvf filename.tar.bz解压。 另:使用yum install pdsh没有成功的问题安装epel即可解决。epel是一个提供高质量软件包的项目。 RPM-GPG-KEY-EPEL-6 5.安装yum-priority:yum install yum-priorities 6.cd /etc/yum.repos.d   ls |grep epel 7.安装pdsh 即可:yum install pdsh ambari文档上说“The Python version shipped with SUSE 11, 2.6.0-8.12.2, has a critical

    71610编辑于 2022-07-03
  • 来自专栏后端开发随笔

    启动HDFS伪分布式环境时报权限错误

    /sbin/start-dfs.sh Starting namenodes on [localhost] pdsh@zhangsan-ZHAOYANG-K21-80: localhost: rcmd: socket: Permission denied Starting datanodes pdsh@zhangsan-ZHAOYANG-K21-80: localhost: rcmd: socket: Permission denied Starting secondary namenodes [zhangsan-ZHAOYANG-K21-80] pdsh@zhangsan-ZHAOYANG-K21 解决办法: $ vim ~/.bashrc export PDSH_RCMD_TYPE=ssh $ source ~/.bashrc 再次执行HDFS启动时即可成功。 $ . /details/117263959 pdsh使用 https://blog.csdn.net/love666666shen/article/details/74350358 hadoop伪分布式下

    94411编辑于 2022-09-26
  • 来自专栏王小雷

    Hadoop3.1.0完全分布式集群部署超详细记录

    2.3.pdsh、ssh安装【三台】 root@servera:~# apt install ssh pdsh echo ssh>/etc/pdsh/rcmd_default 2.4.免密码登录自身【三台 @servera: servera: connect: Connection refused Starting datanodes pdsh@servera: serverc: connect: Connection refused pdsh@servera: serverb: connect: Connection refused Starting secondary namenodes [servera] pdsh@servera: servera: connect: Connection refused ? 解决方法步骤2.3中 echo ssh>/etc/pdsh/rcmd_default

    1.6K30发布于 2019-05-26
  • 来自专栏用户4040092的专栏

    如何做负载均衡的并发测试?

    工具一:pdsh pdsh是一个并行登录远程主机执行命令的工具,我们需要同时从20台客户端机器发起压测,pdsh可以轻松的帮助完成。 pdsh的源码可以从github下载,按照文档编译安装 pdsh命令的使用举例如下: # 需要配置SSH互信 # -w指定多个主机 pdsh -w 192.168.59.[1-10] -l root uptime # -w使用逗号指定多个主机 pdsh -w 192.168.59.1,192.168.59.2 -l root uptime # -x排除某个主机 pdsh -w 192.168.59.[1-10] -x 192.168.59.3 -l root uptime # 使用主机组,把对应的主机写入到/etc/dsh/group/或~/.dsh/group/目录下的文件中即可 # 文件名就是对应组名 pdsh -g client-hosts -l root uptime # 使用dshbak格式化输出 pdsh -g client-hosts -l root uptime | dshbak -c 工具二:vegeta

    4.3K30发布于 2021-02-03
  • 来自专栏迁移内容

    Hadoop的安装与配置——设置单节点群集

    所需的软件包括: JAVA:必须安装Java,配置好JDK环境变量; SSH:如果要使用可选的启动和停止脚本,则必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本; pdsh :安装pdsh以便更好地进行ssh资源管理。 在Ubuntu Linux上: $ sudo apt-get install ssh $ sudo apt-get install pdsh 一、下载 可以从 Apache Download Mirrors

    1.8K50编辑于 2022-12-01
  • 来自专栏咻一咻

    运维自动化轻量级工具pssh

    介绍 pssh命令是一个python编写可以在多台服务器上执行命令的工具,同时支持拷贝文件,是同类工具中很出色的,类似pdsh,个人认为相对pdsh更为简便,使用必须在各个服务器上配置好密钥认证访问。

    1.2K30发布于 2020-05-29
  • 来自专栏信数据得永生

    PyTorch 1.0 中文官方教程:使用PyTorch编写分布式应用程序

    (例如,pdsh,clustershell或其他)为了本教程的目的,我们将使用单个机器并使用以下模板建立多个进程。 """run.py:""" #!

    44230编辑于 2022-05-07
  • 来自专栏王小雷

    2.4 Hadoop伪分布式快速部署

    YARN开启 Hadoop 开启历史查看服务 Hadoop 停止伪分布式集群命令 2.4.1 依赖安装、免密登录 依赖安装 sudo apt install ssh sudo apt install pdsh rcmd_default文件 # 设置rcmd_default入口,避免出现 master: rcmd: socket: Permission denied sudo sh -c "echo "ssh" > /etc/pdsh

    74820发布于 2019-05-29
  • 来自专栏Albert陈凯

    大数据面试选择题hadoop

    a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 答案 ABD 具体可查看什么是 Zookeeper,Zookeeper 的作用是什么,在 Hadoop

    4.1K40发布于 2018-04-04
  • 来自专栏PPV课数据科学社区

    大数据技术Hadoop面试题,看看你能答对多少?

    下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper 9.

    78940发布于 2018-04-20
  • 来自专栏若城技术专栏

    【linux命令讲解大全】165.使用pssh命令在多台服务器上批量管理执行命令

    与类似的工具pdsh相比,个人认为pssh更加简便易用。使用时需要在各个服务器上配置好密钥认证访问。 安装pssh 在CentOS系统环境下,可以通过yum安装或源码编译安装。

    71210编辑于 2024-03-02
  • 来自专栏王小雷

    2.2Virtualbox高级应用构建本地大数据集群服务器

    192.168.56.103 - worker2 192.168.56.104 使得/etc/network/interfaces配置可以生效 sudo apt update sudo apt install ssh pdsh

    61140发布于 2019-05-26
  • 来自专栏开源部署

    Hadoop集群监控工具Ambari安装

    $ sudo yum install pdsh $ sudo yum install httpd-devel $ sudo yum install mod_passenger $ sudo yum install

    1.1K20编辑于 2022-06-30
  • 来自专栏开源部署

    Hadoop集群监控工具Ambari安装

    $ sudo yum install pdsh $ sudo yum install httpd-devel $ sudo yum install mod_passenger $ sudo yum install

    1.1K10编辑于 2022-07-01
  • 来自专栏云原生应用工坊

    🧶 CraftWeave Control:用 AIGC 打造的第一个 DevOps 控制引擎

    不仅如此,CraftWeave 还原生支持了 聚合输出相同结果的主机 这个经典但常被忽视的功能——在传统 Ansible 中需要借助 pdsh 或 ansbak 等外部工具,而我将它直接融合到 CLI

    27810编辑于 2025-05-25
  • 来自专栏华章科技

    大数据技术Hadoop面试题,看看你能答对多少?答案在后面

    下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper 9. 答案:ABD a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 9.

    1.5K20发布于 2018-08-13
  • 来自专栏话梅糖のAndroid学习

    Hadoop集群部署教程-P6

    检查API兼容性 hadoop checknative 分阶段升级步骤: # 第一阶段:升级工具节点 sudo yum upgrade hadoop-client # 第二阶段:升级DataNodes pdsh

    25510编辑于 2025-04-17
  • 来自专栏CSDN技术头条

    大数据技术Hadoop面试题,看看你能答对多少?答案在后面

    下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper 9. 答案:ABD a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 9.

    3.9K100发布于 2018-02-08
  • 来自专栏IT技术精选文摘

    我们是如何优化HAProxy以让其支持200万个并发SSL连接的?

    当时还没有发现pdsh这个工具,也算是一个遗憾。 同时,之前的数据我们还缺少超时数据。在HAProxy上,我们会有一些默认的超时设置,但是ab客户端和后端服务完全忽略了这些配置。 machines[@]}"; do bins=$bins","$i". bin"; commas=$commas","$i; done; bins=${bins:1} commas=${commas:1} pdsh do scp sachinm @$i:/home/sachinm/$result_file $i.bin ; done; vegeta report -inputs="$bins" 幸好这里使用了pdsh

    7.6K80发布于 2018-01-30
领券