如果需要使用HDFS中的文件,则在使用spark前先启动Hadoop
将Hadoop配置成伪分布式,将多个节点放在同一台电脑上。HDFS中包含两个重要的组件:namenode和datanode
namenode:管家节点,数据库的服务作用,只有一个namenodedatanode:负责具体的存储数据相关pyspark提供了简单的方式来学习spark APIpyspark可以实时、交互的方式来分析数据pyspark提供了Python交互式的执行环境pyspark --master <master-url>Spark的运行模式取决于master url值。物理CPU的个数 * CPU的核数spark://localhost:7077,进入集群模式而且是本机独立的模式pyspark的命令主要参数 masterclasspath中;多个jar包,用逗号分割符进行连接# demo
# 本地模式运行在4个CPU上
cd /usr/local/spark
./bin/pyspark --master local[4]
# 使用 --jar 参数
cd /usr/local/spark
./bin/pyspark --master local[4] --jars code.jar
# 执行pyspark默认是local模式
./bin/pyspark # 进入的是local[*]
# 帮助命令
./bin/ pyspark --help
# 进入后的退出命令(>>> 提示符)
>>>exit()