首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Spark笔记5-环境搭建和使用

Spark笔记5-环境搭建和使用

作者头像
皮大大
发布于 2021-03-02 15:32:38
发布于 2021-03-02 15:32:38
9190
举报

安装环境

  • 安装Java和Hadoop2.7.1
  • 官网下载
  • 配置spark的classpath

如果需要使用HDFS中的文件,则在使用spark前先启动Hadoop

伪分布式

将Hadoop配置成伪分布式,将多个节点放在同一台电脑上。HDFS中包含两个重要的组件:namenode和datanode

  • namenode:管家节点,数据库的服务作用,只有一个namenode
  • datanode:负责具体的存储数据相关

PySpark

  • pyspark提供了简单的方式来学习spark API
  • pyspark可以实时、交互的方式来分析数据
  • pyspark提供了Python交互式的执行环境
代码语言:javascript
复制
pyspark --master <master-url>

运行模式

  1. Spark的运行模式取决于master url值。
  • 逻辑CPU个数 = 物理CPU的个数 * CPU的核数
  • K指的是本地线程个数
  • 集群模式:spark://localhost:7077,进入集群模式而且是本机独立的模式
  1. 采用本地模式启动pyspark的命令主要参数
    • –master:表示连接到某个master
    • –jars:用于把相关的jar包添加到classpath中;多个jar包,用逗号分割符进行连接
代码语言:javascript
复制
# demo

# 本地模式运行在4个CPU上
cd /usr/local/spark
./bin/pyspark --master local[4]

# 使用 --jar 参数
cd /usr/local/spark
./bin/pyspark --master local[4] --jars code.jar

# 执行pyspark默认是local模式
./bin/pyspark  # 进入的是local[*]

# 帮助命令
./bin/ pyspark --help

# 进入后的退出命令(>>> 提示符)
>>>exit()
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-10-24,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 安装环境
  • 伪分布式
  • PySpark
  • 运行模式
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档