回答情况：
提问时间：
问题标签：
我有下面的代码val result = RDD[RDD[GenericRecord]] = sc.parallelize(dates).map { date => }
我想将result转换为GenericRecord的RDD，但是foo不是Traversable，所以我可以使用flatMap。这里有什
浏览 2提问于2022-04-20得票数 0
我有一个名为Test_RDD的RDD，它的结构如下：-----------------------------------
我需要从U-Key列上可用的唯一值创建新的RDD，例如U-Key || V1 || V2 || V3 ||
-----
浏览 0修改于2017-03-06得票数 1
2回答
我找不到一种方法只在rdd上占一部分。take看起来很有希望，但它返回的是list而不是rdd。当然，我可以将其转换为rdd，但这看起来既浪费又丑陋。my_rdd = sc.textFile("my_file.csv")我有更好的方法吗？
浏览 5修改于2016-03-03得票数 5
回答已采纳
1回答
我有一个RDD (RDD[(String，IterableEvent)]，它有一个键，表示一年中的一个月，值是该月发生的数百万个事件。
我想遍历每个键，并创建键事件的RDD。然后，我想为当月事件的每一天创建一个event RDD，这样我就可以将它们发送到相关的s3位置(“目录”结构是bucketName/year/month/ day )。问题是，似乎你不能在另一个RDD的foreach中创建RDD。因此，我不确定如何在不将整个主RDD加载
浏览 0修改于2019-03-20得票数 0
我有一个关于RDD api以及如何实现各种基本RDD的问题。String = /home/myuser/gettysburg.txt
lines: org.apache.spark.rdd.RDDtextFile at <console>:29
浏览 4修改于2016-01-29得票数 1
回答已采纳
3回答
我想在spark中做单词计数，我创建了一个rdd，使用sql从数据集中提取不同的tweet。我想在RDD之上使用拆分函数，但它不允许我这样做。text <> ''")
//tried split on both the rdddsitinct(text) from tweets_table where text <> ''
浏览 1修改于2015-05-23得票数 0
回答已采纳
让我们从冲积内存中创建一个RDD。rdd2 = rdd1.map(...)第二个问题的原因是我需要加入两个大的RDD，它们都是关于冲积
浏览 7修改于2018-10-06得票数 0
回答已采纳
可以在pyspark中创建rdd的rdd吗？我试过了rdd2=sc.parallelize([4,5,6])并得到错误
浏览 22提问于2019-11-17得票数 0
回答已采纳
1回答
我有两个不同的RDD，并对它们应用了一个前景，并注意到一个我无法解决的差异。3),("CORN",4),("SOYA",4),("CORN",1),("PALM",2),("BEANS",9),("MAIZE",8),("WHEAT",2),("PALM",10))
rdd: org.apache.spark.rdd.RDD[
浏览 0修改于2018-05-08得票数 0
回答已采纳
我有一个包含以下数据的RDD[String]：('Night of the Demons (2009) (uncredited)(#1.2)}', '$haniqua') 我想把它转换成RDD[String,S
浏览 0修改于2016-10-08得票数 1
作为计算规则置信度的一部分，我需要查看先行项和后果项一起出现的频率，以及先行项在整个事务集(在本例中为rdd)中出现的频率。combos)rddor reference an RDD from an action or transformation.; for example, rdd1.map(lambda x: rdd</em
浏览 8提问于2018-08-20得票数 2
我有RDD[String]，wordRDD。我还有一个函数，它从一个字符串/单词创建一个RDDString。我想为中的每个字符串创建一个新的RDD 。以下是我的尝试：var newRDD = wordRDD.map( word => { (new MyClassfor (w <- wordArray){
newRDD = sc.union(newRDD,(new MyClass(w)).myFunc
浏览 1修改于2017-05-23得票数 6
回答已采纳
2回答
我有一个RDD： sc.parallelize(List((("a", "b"), 1.0), (("a", "d"), 2.0)我正在尝试将这个RDD从org.ap
浏览 3提问于2014-12-16得票数 0
回答已采纳
我正在使用spark读取压缩文件这为我提供了RDD[string]形式的数据。如何在scala中将其转换为RDD[(Array[Byte], Array[Byte])]？我在spark上使用terasort。Teravalidate需要RDD[(Array[Byte], Array[Byte])]格式的输入。
谢谢
浏览 3修改于2016-10-26得票数 0
SparkSession.builder.appName("ML").getOrCreate()
td= train_data.rdd#transformer df to rddv
浏览 4修改于2018-02-26得票数 2
回答已采纳
在这一行中，我有一个错误:无法应用于(org.apache.spark.rdd.RDDUnit)：我的完整代码在这里org.apache.spark.mllib.linalg.distributed.RowMatrix import org.apache.spark.rdd.RDDdensity estimator with the s
浏览 2提问于2015-10-05得票数 0
回答已采纳
Documents.txthello mars0我已经读取了这些文件，并将我的文档数据转换为一个tf-idf加权term-document matrix，它表示为RDD我还为我的标签读取并创建了一个RDD[Vector]：val labs: RDD[Vector]
浏览 1提问于2016-03-11得票数 0
回答已采纳
我创建了一个类似的RDD sc.parallelize(chunk})
val model = kmeans.run(rdd_final)type mismatch;
[error] found : org.apache.s
浏览 2提问于2016-05-27得票数 0
回答已采纳
我是Scala和RDD的初学者。我在Spark2.4上使用Scala。我有一个RDDString，上面有这样的行：显然，下面这样的解决方案对于元素的数量是不可能的。rdd.map(x => (x.split(",")(0), x.split(",")(1), x.split(",")(2)))
也许有一种方法可以实现自动化？一切都会
浏览 0修改于2019-04-30得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号