重用缓存的Spark RDD

文章/答案/技术大牛

发布

1回答

PySpark中的重复计算

apache-spark、pyspark

以下是代码:代码行为是生成从0到n的数字的幂集合。其中，在迭代l中，为C中的集合枚举大小为l + 1的所有可能的超集，并将其存储回C中。根据标准从枚举中剔除一些集合，在本例中通过随机生成器的输出条件来演示。执行变量broadcast保证只有在为迭代生成C之后才会发送bdTH或Spark可以执行某些optimizations.

浏览 1提问于2017-04-09得票数 0

1回答

Spark cache是否会以任何时间间隔自动更新新的数据值？

caching、cassandra、pyspark

我使用pyspark和cassandra，并使用cache()函数缓存数据。我想知道cassandra中的数据每次更新时，缓存是否会自动更新？

浏览 0提问于2015-08-21得票数 3

1回答

缓存RDDs的缺点是什么？

apache-spark、pyspark、rdd

我们最近开始缓存多次重用的RDD，即使这些RDD不需要很长时间来计算。那么过度缓存RDDs有什么缺点吗？我在想，也许将所有反序列化的数据放在内存中会给GC带来更大的压力，但这是我们应该担心的事情吗？

浏览 1提问于2018-10-26得票数 1

1回答

caching、apache-spark、rdd

在Spark中是否有可能在另一个应用程序(或同一应用程序的另一次运行)中重用缓存的RDD？. // transformations on the RDD toCache.cache(); // can this be reused somehow in

浏览 4提问于2017-01-18得票数 2

回答已采纳

2回答

读取多个文件时，火花驱动程序内存不足

apache-spark、dataframe、apache-spark-sql、out-of-memory

我的程序是这样工作的：如果我在上面提到的文件组中只有一个文件而不是60个文件，那么所有的东西都可以在具有8g内存的驱动程序中工作。对于60个文件，前三个步骤可以正常工作，但是在准备第二个文件时，驱动程序会耗尽内存。在计算第二个文件时，我不使用用于计算第一个文件

浏览 1提问于2018-07-09得票数 0

1回答

Spark在工作进程内写入文件

caching、apache-spark、rdd、apache-spark-1.6

我有一个Spark作业，正在生成一组统计结果。我的工作项目数量超过了从属数量。因此，我正在为每个从设备执行多个处理。我在生成RDD对象后写入结果，以便能够重用它们，因为我有多个写操作:一个用于结果对象，另一个用于统计数据。这两种写操作都使用saveAsHadoopFile。在没有缓存的情况下，Spark每次写操作都会重新运行作业，这需要很长的时间，并且会重复执行两次相同的操作(如果我有更多的写操作，会执行更多)。有

浏览 14提问于2017-02-28得票数 0

回答已采纳

1回答

为什么我必须明确地告诉火花要缓存什么？

apache-spark、caching

在星火中，每次我们在RDD上执行任何操作时，RDD都会被重新计算.因此，如果我们知道RDD将被重用，我们应该显式地缓存RDD。比方说，Spark决定延迟缓存所有RDD，并使用LRU自动将最相关的RDDs保存在内存中(这是大多数缓存的工作方式)。这将对开发人员有很大帮助，因为他不需要考虑缓存和集中精力于应用程序。另外，我不知道它如何对性能产生负面影响，因为很难跟踪一

浏览 4提问于2015-12-06得票数 7

回答已采纳

1回答

其中星火在洗牌前存储中间结果/分区

caching、apache-spark

假设我有10个执行者的集群。args(0)).flatMap(_.split(' ')).map((_, 1))这个文件非常大--比集群的总容量还要大我的问题是，标记化的rdd/分区(存储的中间结果)存储在哪里？--我没有使用cache()？我认为spark会将分区溢出到磁盘中。在这种情况下，与缓存的代码有什么不

浏览 2提问于2016-02-11得票数 2

2回答

为什么Spark需要在RDD中对其运行的每个任务序列化数据？

apache-spark、rdd

即使使用.cache() data，Spark似乎仍然序列化每个任务运行的数据。上调用了rdd，Spark仍然会序列化每次调用.foreach的数据。说当您持久化一个RDD时，每个节点存储它在内存中计算的任何分区，并在该数据集(或从中派生的数据集)上的其他操作中重用它们。我之所以问这个问题，是因为我希望能够在本地模式下运行Spark，而不会造成任何性能损失，但是必须序列化RDD

浏览 0提问于2020-07-29得票数 2

1回答

如何避免每次执行查询时的查询准备(解析、规划和优化)？

apache-spark、apache-spark-sql、spark-streaming

在我们的Spark流应用程序中，使用60秒批处理，我们在一个DF上创建一个临时表，然后对它运行大约80个查询，如下所示：没有一种方法可以生成、缓存和重用查询计划吗？我们在CDH/纱线上使用Spark2.2。谢谢。

浏览 0提问于2018-03-31得票数 5

1回答

什么时候从卡桑德拉？

cassandra、apache-spark、cassandra-2.0、spark-cassandra-connector

我有一个应用程序，它触发了火花主程序的作业。但是，当我检查执行作业的IP地址时，它显示的是我的应用程序IP，而不是火花工作者IP。因此，据我所知，对RDD的调用会生成一个火花工作人员。那么，这是否意味着从Cassandra和RDD中提取1中的创建都是在应用程序中完成的呢？按照所提供的答

浏览 0提问于2015-07-22得票数 0

1回答

缓存的重要性[火花]

scala、apache-spark、caching

我有一个包含一些数据(大约25行)的.csv文件。mapValues(...).persist(StorageLevel.MEMORY_AND_DISK)val RDD2 = RDD1.zipWithIndex目前，RDD2中大约有14‘m元素，我正在对每个元素进行一些计算。最后，我将结果写入文件中：好像起作用了。但是，如果我不使用persist()方法，那

浏览 0提问于2018-03-22得票数 0

回答已采纳

2回答

缓存RDD后的“采取”操作只会导致2%的缓存

apache-spark、rdd

scala> rdd res87: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[3] at textFile at <console>:24完成后，我将检查Spark的存储页面。它显示我缓存的分数仅为2%，内存中的大小为6.5MB。然后，我在RDD上调用'count‘操作。之后，当我检查Spark存储页面时，我突

浏览 4提问于2015-07-20得票数 3

1回答

spark在洗牌后会自动缓存rdds吗？

apache-spark

我尝试了下面的代码，rdd2只会计算一次。spark缓存会自动洗牌rdd吗？ .map(x => {println("---") }).reduceByKe

浏览 0提问于2020-10-19得票数 0

4回答

Spark java.lang.StackOverflowError

java、apache-spark、mapreduce

我使用spark是为了计算用户评论的pagerank，但当我在一个大数据集(40k条目)上运行代码时，我总是得到Spark java.lang.StackOverflowError。+ t._2; }); //calculate pagerank using this https://github.com/apache/spark/blob/master/examples&#

浏览 1提问于2016-06-20得票数 10

1回答

getPersistentRDDs在Spark2.2.0中返回缓存的RDDs和DataFrames的映射，但在Spark2.4.7中只返回缓存的RDD的映射

scala、apache-spark、rdd

如果SparkVersion2.2.0中的缓存RDD和DataFrame返回映射大小2：rdd: org.apache.spark.rdd.RDD= [value: int] res0: scala.collection.Map[Int,org.apac

浏览 5提问于2020-12-19得票数 2

回答已采纳

1回答

spark检查点是否比缓存更快？

performance、apache-spark、apache-spark-sql、checkpointing

在我的spark应用程序中，我在spark rdd中读取了几个hive表，然后在稍后对这些rdd执行了一些转换。为了避免重新计算，我使用rdd.cache()或rdd.persist()和rdd.checkpoint()方法缓存了这些rdds。根据spark文档和在线参考，我认为检查点操作比缓存成本更高。虽然缓存保留了rdd谱系和检查点，但检查点从HDFS写入和

浏览 3提问于2017-07-07得票数 4

1回答

spark缓存仅保留RDD的一小部分

caching、apache-spark、swap

当我显式调用rdd时，我可以从spark console storage选项卡中看到，实际上只缓存了rdd.cache的一小部分。我的问题是剩下的部分在哪里？Spark如何决定将哪个部分留在缓存中？同样的问题也适用于sc.textFile()读取的初始原始数据。我知道这些rdd是自动缓存的，即使spark控制台存储表没有显示任何

浏览 3提问于2015-04-08得票数 6

2回答

用Ignite激发SQL

sql、apache-spark、ignite

我试图通过使用IgniteRDD引入speed作为缓存层来加快spark查询的速度。从RDD示例中，它从RDD缓存加载数据以构造RDD。但是在我们的使用中，数据大小可能太大而不能放入内存中，实际上我们只是将数据放在hbase中，所以可以这样做: 1、通过从hbase 2加载数据构建igniteRDD，使用generated缓存sql生成的共享rdd以加快spark的</em

浏览 4提问于2017-12-21得票数 0

回答已采纳

1回答

当数据很大时，我如何缓存来自cassandra的数据来触发？

apache-spark、cassandra、spark-cassandra-connector

我从cassandra获取一些数据来激发，当数据足够大且不能一次缓存在内存中时，我必须使用spark.cassandra.input.split.size_in_mb来设置数据的大小--一次机器可以get.But--我也想用更长的时间来缓存数据，代码如下： .set("spark.cassandra.connection.host,

浏览 2提问于2015-11-24得票数 1

回答已采纳

点击加载更多

PySpark中的重复计算

Spark cache是否会以任何时间间隔自动更新新的数据值？

缓存RDDs的缺点是什么？