回答情况：
提问时间：
问题标签：
0回答
spark2.4 创建SparkSession时报错？
java、python、scala、网站、spark
config("spark.some.config.option", "some-value"). at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:62)
at org.apache.spark.ui.SparkU
浏览 2337提问于2019-04-01
0回答
spark sql报错了，本地没报错？？
java、scala、linux、编程算法、spark
:407) at org.apache.spark.executor.Executororg.apache.spark.SparkContext.runJob(SparkContext.scala:2102)
at org.apache.spark.SparkContext.runJoborg.apache.spark.rdd.RDD$$anon
浏览 815提问于2020-03-09
4回答
spark on yarn 中文乱码问题，help？
yarn、spark
我遇到一奇怪问题spark on yarn client ==>file.encoding 字符集是UTF-8
spark on yarn cluster ==>file.encoding
浏览 5691提问于2018-09-28
0回答
org.apache.spark.executor.CoarseGrainedExecutor？
linux、腾讯云测试服务、yarn、spark
最近遇到一个问题org.apache.spark.executor.CoarseGrainedExecutor 我通过java调用yarn api去提交spark任务。通过日志查看到APPmaster已经启动，但是在启动executor的container时报出 org.apache.spark.executor.CoarseGrainedExecutorBackend
浏览 371提问于2020-05-26
1回答
我们是自行安装的spark集群，如何识别cosn uri？需要重编译spark？
BTW：最后一行的示例“park-submit”少了一个“s“。
浏览 531提问于2018-03-06
2回答
请问spark-operator怎么指定调度器，在sparkapplication里的driver字段下通过schedulerName标签指定，没生效
浏览 338提问于2021-09-07
2回答
spark连接bigquery的身份认证问题？
spark、大数据、client、key、url
我是一个初学者；我要用spark/pyspark连接bigquery读取数据，但是卡在了身份认证这道关卡；我有身份认证文件：ios-app.json文件，格式是：{ "client_x509_cert_url": *******************请问我该如何写身份认证的spark
浏览 283提问于2023-09-13
0回答
spark executor容器内存如何规划？
linux、容器、缓存、spark
spark executor内存分为3部分,执行内存/缓存内存/程序内存，如何合理的分配服务器内存给这3个部分？为什么？
浏览 226提问于2021-12-24
0回答
k8s配置spark.kubernetes.driver.podTemplateFile不生效 ？
http、容器、kubernetes、spark、大数据
问题： spark on k8s 配置 --conf spark.kubernetes.driver.podTemplateFile 参数不生效，但是指定spark.kubernetes.executor.podTemplateFilecluster \--class org.apache.spark.examples.streaming.HdfsWordCount \--co
浏览 535提问于2021-12-24
1回答
腾讯云DLC的spark任务如何指定JDK版本？
spark、jdk、数据湖计算 DLC、腾讯云、程序
DLC默认JDK版本1.8，我的spark任务使用JDK17，之前在运行EMR上，在各节点安装JDK17，并通过spark submit指定单个程序的JDK 路径即可运行，配置参数如下：spark.yarn.appMasterEnv.JAVA_HOME与 spark.executorEnv.JAVA_HOME。
浏览 351提问于2024-04-08
0回答
spark的executor容器资源如何规划？
linux、容器、spark
spark运行的进程需要在executor容器中运行，executor容器的数量、CPU资源、内存资源如何规划？
浏览 215提问于2021-12-24
0回答
Spark完全可以取代mapreduce吗？
mapreduce、spark
Spark完全可以取代mapreduce吗？为什么？什么场景下可以取代？什么场景下不能取代？
浏览 206提问于2021-12-24
1回答
如何配置Spark 的log4j的日志？
专用宿主机、日志数据、yarn、spark、大数据
跑的是spark程序，想要自定义log4j输出日志到客户端目录log4j.rootCategory=INFO, console,FILE# log level for this class is used to overwrite the root logger's loglevel, so that
# the user can have different defaults for the shell and
浏览 1993提问于2020-05-28
0回答
1、Spark Streaming在接收实时数据的时候，采用同步方式接收？还是异步方式接收?
2、同步方式的好处和不足是什么？异步方式的好处和不足是什么？
浏览 204提问于2021-12-24
2回答
spark写入hive表(orc格式)后查询异常？
python、jar、spark、hive
spark版本：2.4.3，jar包：spark-hive_2.11hive表格式为：orc
通过DataFrameWriter<Row> 写入hive表后，查询hive
浏览 3125提问于2019-09-25
0回答
spark容器运行任务数量如何优化？
linux、容器、spark
1、spark是线程级别的任务，那么executor容器内应该运行多少个任务（线程）？如何进行考虑？
2、executor容器内运行的任务（线程）较多会出现什么问题？
浏览 178提问于2021-12-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号