Spark RDD:从其他RDD查找

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、rdd

我正在尝试在Spark中执行最快的查找，作为一些练习滚动我自己的关联规则模块的一部分。请注意，我知道下面的指标，信心，在PySpark中是受支持的。length-two and greater itemsets .map(confidence)对于那些熟悉这种类型的查找问题的人，您将知道会引发这种类型的异常： Exception: It appears that you are attempting to broadcast an RDD</em

浏览 8提问于2018-08-20得票数 2

1回答

spark中查找数据的最佳选择

java、apache-spark、apache-spark-sql、spark-streaming

我需要读取kafka主题的消息，对数据集进行查找，然后根据查找数据的结果发送消息。下面的一个例子使这一点更加清晰。 Kafka主题收到一条xml消息，该消息的字段messageID保存值2345。我们会进行查找，并确认以前没有发送过该ID的消息。如果返回false，则发送消息，然后将此messageID添加到查找数据中。如果这个messageID已经在查找数据中，我们就不会发送它。目前，这是通过使用hbase表来保存查找数据来实现的。然而，我们每天可以收到数百万条消息，我担心组件的性能会

浏览 0提问于2018-10-19得票数 1

回答已采纳

2回答

如何插入或更新已从外部数据库加载的spark rdd

apache-spark、rdd

我已经在RDD中加载了其中的一部分，一段时间后，当我获得一个与RDD中已经加载的数据相匹配的新记录时。我需要将新记录直接添加到RDD，而不是外部数据库。

浏览 0提问于2016-05-26得票数 1

4回答

在访问Spark* RDD时在闭包中使用局部变量*

python、apache-spark、pyspark、closures、rdd

在访问Spark时，我有一个关于在闭包中使用局部变量的问题。我想解决的问题如下： list_of_filenames = ['file_from_Ernie.txt

浏览 1提问于2015-01-28得票数 6

回答已采纳

1回答

查看PySpark脚本的胶合作业输出的最佳方法

python、amazon-web-services、pyspark、aws-glue

然而，当我从AWS Cloudwatch查看Output时，输出中有许多对我来说并不重要的信息。(RDD.scala:324)at org.apache.spark.rdd.MapPartitionsRDD.compute(RDD.scala:324) at org.apache.spark.rdd</e

浏览 22提问于2020-09-23得票数 0

回答已采纳

1回答

星火RDD与Cassandra表连接

scala、apache-spark、cassandra、datastax、spark-cassandra-connector

我加入了Spark RDD的Cassandra table (查找)，但不能理解一些事情。将range_start和range_end之间的所有记录从Cassandra table中触发，然后将其与火花内存中的RDD连接起来，或者将从RDD到Cassandra的所有值按下，并在那里执行连接。(Cassandra或Spark) Spark是否总是从Cassandra中提取相同数量的记录，无论应用什么限制(1或1000)？val df

浏览 1提问于2020-03-13得票数 0

3回答

如何找到spark* RDD/Dataframe大小？*

scala、apache-spark、rdd

我知道如何在scala.But中找到文件大小如何在spark中找到RDD/dataframe大小？如何找到RDD大小？

浏览 4提问于2016-01-26得票数 45

回答已采纳

2回答

distinct和map的调用一起在spark库中抛出NPE

scala、nullpointerexception、apache-spark

我不确定这是不是一个bug，所以如果你这样做d.distinct().map(x => d.filter(_.equals(x))) 您将获得一个Java

浏览 1提问于2012-12-08得票数 7

回答已采纳

1回答

spark java.io.IOException:磁盘空间不足

python、apache-spark、logistic-regression

我在一个8节点的spark集群上运行逻辑回归算法，每个节点有8个核心和56 GB的Ram (每个节点都运行windows系统)。并且spark安装驱动程序具有1.9 TB的容量。at org.apache.spark.storage.DiskStore.putIterator(DiskStore.scala:78) at org.apache.s

浏览 2提问于2015-03-14得票数 1

1回答

如何在启用检查点的情况下连接dstream和JDBCRDD？

apache-spark、spark-streaming

我们有一个启用检查点的星火流作业，它第一次正确执行，但是当从检查点重新启动时抛出异常以下。org.apache.spark.SparkException: RDD转换和操作只能由驱动程序调用，而不能在其他转换中调用；例如，rdd1.map(x => rdd2.values.count() *在org.apache.spark.rdd.RDD.org$apache$spark$rdd$R

浏览 3提问于2016-11-04得票数 1

2回答

火花org.apache.hadoop.mapred.InvalidInputException S3 CSV读取返回

csv、apache-spark、amazon-s3

我的问题是，虽然我可以从spark读取CSV文件，但是从编译的JAR中运行它会不断地返回一个org.apache.hadoop.mapred.InvalidInputException错误。罐子的粗糙过程： org.apache.spark.rdd</e

浏览 4提问于2017-02-03得票数 0

3回答

可以从不同的spark上下文访问RDD吗

apache-spark、apache-spark-sql、hadoop2

我是spark的新手。是否可以使用在不同spark上下文中定义的RDD？如果是，是如何实现的。我们在spark context1中创建一个hive表t1的RDD。我们是否可以在不同的spark工作中使用(参考) RDD。

浏览 49提问于2016-08-12得票数 0

回答已采纳

1回答

火花执行器由于GC开销限制而丢失，即使使用20个执行器每个使用25 GC。

apache-spark、apache-spark-sql

一旦这个GC错误发生在执行器中，它就会丢失，其他执行程序也会慢慢丢失，因为IOException、Rpc客户端断开、洗牌找不到等等。 at org.apache.spark.rdd.MapPartitionsRDD.compute:277) at org.apache.spark.rd

浏览 0提问于2015-08-18得票数 1

回答已采纳

1回答

Spark 2.0无法读取cassandra 2.1.13表-java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

apache-spark、cassandra、spark-cassandra-connector

我正在尝试从安装了datastax 4.8.6 ( spark 1.4和cassandra 2.1.13)的服务器读取cassandra表。at org.apache.spark.rdd.RDD.iterator(org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.co

浏览 1提问于2017-03-01得票数 0

1回答

从FTP服务器读取文件

docker、apache-spark、hadoop、ftp、apache-commons-net

我正在将一个文件从FTP server读取到spark rdd，如下所示Exception in thread "ma

浏览 5提问于2020-07-05得票数 1

回答已采纳

1回答

当接收器失败并将WAL存储在s3中时，火花流无法读取预写日志记录中的数据

spark-streaming、wal

:277) at org.apache.spark.rdd.RDD.iterator(RDD.scala:244) at org.apache.spark.rdd.UnionRDD.compute(UnionRDD.scala:87) )在org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277) at org.apache.spark</e

浏览 2提问于2015-08-12得票数 1

1回答

使用外部数据转换DStream RDD

scala、apache-spark、spark-streaming

我们正在开发一个spark streaming ETL应用程序，它将从Kafka中获取数据，应用必要的转换，并将数据加载到MongoDB中。从Kafka收到的数据为JSON格式。转换基于从MongoDB获取的查找数据应用于RDD的每个元素(JSON String)。由于查找数据发生了变化，因此我需要在每个批处理间隔中获取它。使用SqlContext.read从MongoDB读取查找数据。现在我尝试使用DStream.foreachRDD，在其中我<em

浏览 9提问于2017-08-26得票数 1

回答已采纳

2回答

在单元测试中模拟Spark RDD

scala、unit-testing、mocking、apache-spark、scalatest

有没有可能在不使用sparkContext的情况下模拟RDD？我想对以下实用函数进行单元测试： def myUtilityFunction(data1: org.apache.spark.rdd.RDD[myClass1], data2: org.apache.spark.rdd.RDD[myClass2]): org.apache.spark.rdd.RDD[myClass1] = {...}如何从</e

浏览 3提问于2015-06-20得票数 11

回答已采纳

1回答

火花放电数据的预处理

python、apache-spark、pyspark

('file.csv') parsedData = spark_rdd.map(lambda x: Vectors.dense(x[3],) at org.apache.spark.rdd.RDD.c

浏览 3提问于2017-07-05得票数 1

回答已采纳

1回答

访问MapPartitionsRDD时发生Spark* RDD转换异常*

scala、apache-spark

我试图通过将用户的RDD映射到模型的recommendProducts方法来从MatrixFactorizationModel中提取预测。这给了我一个MapPartitionsRDD。然后，尝试减少或以其他方式访问此RDD会给我一个Spark异常。._import org.apache.spark.mllib.recommendation.For more information, see

浏览 0提问于2016-02-03得票数 2

点击加载更多