回答情况：
提问时间：
问题标签：
1回答
我正在从一个网关启动一个带有--master yarn --deploy-mode cluster选项的spark应用程序(2.1.0)，它采用yarn集群模式。然而，我看到spark-submit在网关上启动的进程仍然在本地创建了数百个线程。我希望线程是在工作节点上创建的，而不是在网关中创建的，因为集群模式是激活的。集群模式由日志确认。PS:我使用的是运行Hadoop 2.6.0的加密集群。
浏览 15修改于2017-08-30得票数 0
1回答
通过互联网上的一些研究，我可以使用在我的Ubuntu Linux计算机上启动spark主服务器spark服务并使用但它返回了:sparkM
浏览 1提问于2015-03-02得票数 0
1回答
我正在尝试远程使用spark集群，所以基本上我有3个节点，1个master和2个worker，离我的笔记本“很远”，但我想用它们来进行计算。我可以很容易地连接到驱动程序，输入：./spark-shell --master spark://xxx.xxx:7077
我在驱动程序上的spark web界面上看到了我的应用程序，但操作没有执行，我认为是因为应该连接到我的工作人员有网络问题所以我在spark-env.sh上设置了我的公网IP: SPARK</
浏览 0修改于2016-02-12得票数 1
2回答
我设置了一个spark集群，使用cassandra作为独立模式下的数据集群。另一方面，我使用IntelliJ的思想来编写驱动程序代码，这些代码将被发送到spark集群，由workers执行。我想知道的是，是否可以将intellij (在我的本地机器中)中的代码执行到远程集群中，或者我必须创建一个.jar文件并使用sopark-submit?将其部署到工作进程。
浏览 7提问于2017-08-02得票数 2
回答已采纳
我有一个spark集群，运行在10台机器(1 - 10)上，主机在机器1上。所有这些都运行在CentOS 6.4上。我正在尝试使用sparkR将jupyterhub安装(由于在CentOS上安装时出现问题而在ubuntu docker中运行)连接到集群，并获取spark上下文。我使用的代码是library(Spa
浏览 0提问于2015-07-24得票数 0
1回答
我正在尝试使用Java程序从本地系统连接到spark主节点(远程集群节点)。我正在使用以下接口进行连接： 16/11/30 17:40:46 INFO
浏览 0修改于2017-09-23得票数 3
attributes KeyName=MYKEY --applications Name=Hive --bootstrap-actions Path=s3://support.elasticmapreduce/spark/install-spark"时`调用RunJobFlow操作出现客户端错误(InvalidSignatureException
浏览 1提问于2015-02-11得票数 1
我正在尝试使用spark submit运行我的spark scala代码。为此，我想访问spark集群。那么，在Spark上下文中，我应该为master使用什么？我曾经这样使用过 .master("spark://prod5:7077")
.appName("MyApp使用spark集群时，我
浏览 0提问于2018-10-25得票数 0
我想使用与spark Cluster关联的JDBC连接将Jmeter与Databricks (Spark Cluster)连接需要帮助
浏览 1修改于2021-04-02得票数 1
我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群(我不想使用spark- submit提交它)。我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’
浏览 10提问于2017-07-26得票数 1
回答已采纳
在只有一个节点的spark集群上运行shark时，我得到了以下错误。program "/home/trendwise/Hadoop_tools/jdk1.7.0_40/bin/java" (in directory "/home/trendwise/Hadoop_tools/spark/spark-0.9.1-bin-hadoop1/work/app-2014061
浏览 2修改于2016-11-01得票数 0
我的问题是，我如何永久地维护一些信息(从Spark集群开始到集群停止)？
例如，我想计算每个应用程序的jar文件的MD5。我已经尝试在spark源代码中添加一个新类来维护此信息。我还尝试在对象org.apache.spark.depoly.master.Master中添加一个HashMap (我认为这在所有集群的生命周期中都是有效的)，但即使这样，每次提交新的应用程序时，它也会被初始化那么，如何在Spark集群中维护全局信息呢？创建一个新类(如何创建，
浏览 2修改于2015-05-04得票数 0
我是spark的新手，我们需要设置一个动态spark集群来运行多个作业。通过参考一些文章，我们可以使用EMR (Amazon)服务来实现这一点。有没有什么方法可以在本地完成相同的设置？一旦Spark集群可用于在不同服务器上的不同端口上运行的服务，如何为每个作业将迷雾指向新的spark集群。提前谢谢。
浏览 9修改于2020-03-17得票数 0
我有一个Spark 1.1.0集群，有三台不同功率的机器。当我运行start-all.sh脚本并检查UI时，我列出了所有从设备和主设备。
浏览 1提问于2014-11-20得票数 1
我已经在Azure中创建了HDInsight的Spark集群。现在，我希望将处理后的数据存储到HBASE中，并且我不想创建单独的HBASE HDInsight集群并使用VNET连接到Spark集群。我已经并且想要在我的Spark集群中使用所有的60个内核。因此，我想到了在HDInsight的spark Cluster中安装HBASE。当我在HDInsight星火集群中创建时，似乎已经有一个HBASE实例在运行。但这不会显示在Azure
浏览 3提问于2017-04-18得票数 2
我正在尝试使用这个docker-compose创建一个只有一个工人的分布式spark集群 image: gettyimages/spark:2.0.0-hadoop-2.7: spark-master SPARK_CONF_DIR: /conf expose:/data:/tmp/data
浏览 0提问于2018-09-19得票数 3
我想在Spark集群外部的一个节点(VM实例)上安装Apache Livy服务器。我怎么做才能让LivyServer指向Spark集群？//github.com/cloudera/livy.gitmvn clean package -DskipTests 在livy/conf/livy.conf中进行更改 livy.spark.master= spark://{spark-
浏览 26修改于2019-09-25得票数 1
我通过使用本地模式和mesos集群模式提交相同的jar来运行。并且发现在一些完全相同的阶段，本地模式只需要几毫秒就能完成，但是集群模式需要几秒！阶段mesos集群模式: 659流作业来自输出操作1，批处理时间18:01:20映射在KafkaHelper.scala:35 +details 2016/03/22 18:0
浏览 4提问于2016-03-22得票数 2
回答已采纳
我正在尝试使用两个运行Windows10的系统来设置spark 3的光泽。在spark://<hostname>:7077上启动主服务器的spark-class org.apache.spark.deploy.master.Master -h <hostname> 在我试图用作工作节点的第二台机器上，我使用的是spark-class org.apache.spark.deploy.worker.Worker spark:&#x
浏览 24修改于2020-07-15得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号