回答情况：
提问时间：
问题标签：
我正在尝试使用spark-redis加载数据集，但操作总是失败。我尝试写入的spark dataframe有8500万行，但写入操作在2500万行之后大致失败。我想知道如何解决这类问题。我使用的spark-redis版本是spark-redis_2.12-2.6.0.jar。我在Spark 3.1.1上运行我的脚本，我试图访问的Redis集群使用版本6.0.4。15.2 in stage 2.0 (TID 67) (x.x.x.x executor 0): TaskKilled (Stage cancelled)
看起来有一些连接池耗尽了，但我不知道如何告诉
浏览 100提问于2021-06-11得票数 2
在我的研究之后，我发现我可以使用" spark-redis _2.11“来连接spark-redis。我已经在集群上安装了所需的jar "com.redislabs:spark-redis_2.12:2.5.0“。
谢谢。
浏览 15修改于2021-02-27得票数 0
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis
浏览 2修改于2018-08-03得票数 1
回答已采纳
StructField(i,IntegerType,true),StructField(j,IntegerType,true),StructField(dot,DoubleType,true)))os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS
conf = SparkConf().set("spark.jars", "spark-redis
浏览 1提问于2020-05-20得票数 0
我已经在databricks中从maven包中安装了这个包com.redislabs:spark-redis:2.3.0。
浏览 10提问于2022-03-10得票数 1
, i.toString)) sc.toRedisKV(parents) // using spark-redis
浏览 2提问于2021-07-18得票数 0
回答已采纳
1回答
", "testrediskeys").option("key.column", "dummy").mode("overwrite").save()Scala : 2.12
spark-redis
浏览 9修改于2021-06-29得票数 1
org.elasticsearch" % "elasticsearch-spark-20_2.11" % "5.2.2"
libraryDependencies += "com.redislabs" % "spark-redis
浏览 28修改于2019-08-02得票数 0
回答已采纳
遵循本文档(https://github.com/RedisLabs/spark-redis/blob/master/doc/configuration.md)，使用部署在HDI集群上的Spark作业将记录写入
浏览 98提问于2021-07-20得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号