Spark无法与executors连接

文章/答案/技术大牛

发布

0回答

apache-spark

我有一个问题，什么时候连接星火簇。我的应用程序(驱动程序)运行在本地环境上，而spark集群运行在云上。如果我的应用程序启动，它与master连接成功，但与executor连接失败。这是错误日志Using Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesCaused by: or

浏览 3提问于2017-06-14得票数 2

回答已采纳

2回答

如何访问spark历史服务器

apache-spark、apache-spark-sql、sparks-pakage-management

我在小数据集上运行我的spark应用程序，只是为了进行功能测试。但我也想看看有多少executors正在创建，以及数据是如何分区的。为此，我尝试访问spark UI应用程序，但访问spark UI应用程序的问题是，一旦应用程序完成，连接就会丢失。如何访问spark历史服务器来监控过去的spark应用程序。我正在使用intellij IDE运行spark应用程序，但我无法找到访问此类服务器的选项。

浏览 26提问于2020-08-05得票数 0

回答已采纳

1回答

无法将电子病历中的Cassandra与群集模式下的bundle.zip连接

cassandra、amazon-emr、spark-cassandra-connector、datastax-astra

我正在尝试连接AWS EMR中的Astra Cassandra。但是Executor无法获得包文件，因为我正在通过S3传递该文件。这是我传递的spark提交命令。--master yarn--packages com.datastax.spark:spark-cassandra-connector_2.12:3.1.0--conf spark.cassandra.connection.config.cloud.path=s3:/&

浏览 9提问于2021-08-28得票数 3

1回答

与独立spark群集的SparklyR连接仅连接到2/6个工作进程

apache-spark、rstudio、sparklyr

我终于成功地将我的堆栈设置为使用RStudio通过sparklyR连接到一个独立的spark集群(在CassandraDB中有文件存储)。我仍然无法解决的唯一问题是如何获得sparklyR连接以利用集群上所有可用的工作节点(总共有6个)。每次连接时，Executor Summary页面都会显示sparklyR连接只使用了2个工作进程(每个节点上都有一个执行进程)。我尝试使用spark_connect调用的config.yml文件，包括设置spark.e

浏览 3提问于2017-02-06得票数 1

回答已采纳

2回答

如何从sparkcontext中获取与executor相关的信息？

scala、apache-spark

Spark版本是2.3.3。我正在尝试查找总内存/已用内存以及活动/总任务和其他特定于执行器的信息。其想法是获得实际使用与分配的内存，以便可以进一步优化这些内存。更新：提供了UI上所有可用的信息。计算过程中使用的内存除外。这就是我主要想要找的。

浏览 1提问于2020-02-19得票数 0

1回答

如何从Spark中读取/写入dynamodb？

hadoop、apache-spark、hive、amazon-dynamodb

我想知道从Spark读/写dynamodb最好的方法是什么。我尝试过使用dynamodb的官方API，还有emr连接器(hadoop和hive)等。

浏览 28提问于2018-01-24得票数 1

1回答

纱线计算过数字执行者吗？

apache-spark、hadoop-yarn

如果我只是提供u'--executor-memory', '20G'纱线会自动计算可放置在集群中的火花执行器的最大数量吗？

浏览 0提问于2018-03-13得票数 1

回答已采纳

1回答

如何估计Hortonworks Hadoop集群上火花执行器的数量？

hadoop、apache-spark、hadoop-yarn、hortonworks-data-platform

1 NameNode，1中学NameNode，10 DataNode 纱线安装好了。

浏览 5提问于2015-12-03得票数 1

回答已采纳

1回答

Spark GraphFrames高混洗读/写

apache-spark、amazon-emr、spark-graphx、graphframes

我正在使用Spark GraphFrames的motif功能查询此图形。我已经设置了一个用于查询图形的AWS EMR集群。以下是我的spark代码： val spark = SparkSession.builder.appName("SparkGraph POC").getOrCreate() .createOrReplaceTempView("

浏览 27提问于2020-06-21得票数 1

回答已采纳

2回答

使用spark时无法应用gpfdist协议

apache-spark、greenplum

我正在尝试使用spark将数据从greenplum读取到HDFS中。为此，我使用jar文件：greenplum-spark_2.11-1.6.0.jarval yearDF = spark.read.format("io.pivotal.greenplum.spark.GreenplumRelationProvider8) org.postgresql.util.PSQLException: ERROR: error when writing data t

浏览 1提问于2019-03-06得票数 1

1回答

来自edgenode Jupyter notebook的spark jdbc连接

apache-spark、hadoop、jupyter-notebook

我需要创建一个使用jdbc连接到Oracle数据库的数据帧。我正在使用edgenode的Jupyter笔记本来实现这种连接。Spark在Jupyter notebook的客户端模式下运行。数据库主机和端口不具有来自edgenode的连接，但它是从数据节点打开的。但是当我尝试创建dataframe时，由于"connect timed out“错误而失败。正常吗？我认为它正在尝试从edgenode建立连接，但无法建立连接？我如何确保从executors</

浏览 10提问于2018-08-01得票数 0

1回答

Spark Streaming:通过接收到的流密钥从HBase读取？

apache-spark、apache-kafka、hbase、spark-streaming、spark-streaming-kafka

将Spark Streaming中接收的数据与HBase中的现有数据进行比较的最佳方式是什么？来自Kafka的数据流-> Query HBase by Dstream keys -> Some calculations -> Write to HBase 我的“天真”方法是使用Phoenix SparkConnector基于键读取和左连接到新数据，以此作为过滤当前微批中不存在的键的一种方式。

浏览 32提问于2021-02-09得票数 1

回答已采纳

2回答

将该值重置为配置"spark.executor.instances“

apache-spark

我们有一个纱线集群，我们使用Spark 2.3.2版本。我想在提交spark应用程序时使用spark的动态资源分配，但在spark-defaults.conf文件中，属性spark.executor.instances的值被设置为16。我不能编辑spark-defaults.conf，所以我想通过--conf参数将赋值重置为spark- spark.executor.instances。我尝试将其设置为空或0，但在这两种情况下，作业失败并返回s

浏览 319提问于2020-07-22得票数 1

回答已采纳

2回答

面向对象模型的Spark内存管理

apache-spark、hadoop-yarn

情况是这样的:我启动了一个spark作业，但由于OOM的许多任务失败而失败。所以我增加了任务的内存分配。我仍然看到OOM的一些节点失败了，但作业最终可能会成功。我的问题是Spark是如何处理这个问题的？似乎Spark可以在一次失败的尝试后重新分发数据。附注:失败的任务是在批处理作业中应用Window and Rank操作。

浏览 0提问于2018-01-31得票数 0

1回答

如何使用气流SparkSQLOperator？

apache-spark、airflow

我想在气流中使用Spark运行一个查询，看起来SparkSQLOperator非常适合这一点()，但是我不知道如何配置连接。在DB Visualizer中，我可以使用以下方法连接到Hive数据库：database url : jdbc:hive2://myserver.com:10000/defaultdatabase userid : me将这些设置应用于spark_sql_default连

浏览 2提问于2017-12-12得票数 0

1回答

火花如何处理HADOOP_CONF_DIR？

apache-spark、hadoop

当我们想从Spark连接HDFS时，我们只是将HADOOP_CONF_DIR设置为而不是将各种参数传递给Spark/usr/hdp/current/spark-client/bin/spark-submit --class org.apache.spark.examples.SparkPi --master y

浏览 4提问于2020-08-03得票数 1

1回答

在Spark程序中访问Oozie配置

scala、oozie、oozie-workflow

我正在尝试使用Scala中的sys.env()方法通过Spark程序访问它。当我没有Oozie调度时，我能够正确地访问Spark中的环境变量。然而，当我尝试使用Oozie调度我的程序时，程序抛出一个错误，它无法读取环境变量。workflow.xml： <start to='spark-node

浏览 1提问于2020-01-14得票数 0

1回答

与数据大小相关的Spark* master内存要求*

apache-spark

Spark master内存需求是否与处理数据的大小有关？Spark驱动程序和Spark workers/executors直接处理已处理的数据(并执行应用程序代码)，因此它们的内存需求可以与已处理数据的大小联系起来。但是Spark master会受到数据大小的影响吗？在我看来并非如此，因为它只管理Spark工作人员，而不直接处理数据本身。

浏览 21提问于2017-03-08得票数 6

1回答

阿帕奇星火

在r中，我遇到了一个与本地实例连接的问题。使用Spark: 2.

浏览 1提问于2019-08-25得票数 2

1回答

在外部EC2上运行齐柏林飞艇以连接到Amazon EMR

amazon-ec2、amazon-emr、apache-zeppelin

我想分享我在EC2上设置齐柏林飞艇服务器的经验，并将其连接到电子病历以利用其计算能力。Zeppelin 0.7.3与spark 2.3.0不兼容，但当您通过向导选项设置EMR时，您可以将两者放在一起。在这里，我想下载并安装zeppelin 0.7.3以及spark 2.2.1，以便能够将其连接到EMR 5.11.0。at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139) at java.util.concur

浏览 4提问于2018-08-17得票数 2

回答已采纳

点击加载更多