回答情况：
提问时间：
问题标签：
我试图使用在DStream上执行ETL，但得到了以下错误。你能帮我修一下吗？谢谢。[error] val wordCounts = etl.reduceByKey(_ + _)[error] one error found
[error] (compile:compileIncrem
浏览 3提问于2018-01-14得票数 2
回答已采纳
我正在尝试整合Spark/Kafka来构建一个流媒体应用程序。Kakfa版本: 0.9火花: 1.6.2你能给我更多关于如何处理补偿的见解吗？JavaInputDStream<String> directKafkaStream = KafkaUtils.createDirectStream(jsc, String.class, String.class,
StringDecoder.class, StringDec
浏览 2修改于2016-09-28得票数 1
我正在尝试使用spark streaming从HDFS读取数据。下面是我的代码。import org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.hadoop.io.{LongWritable, Text}
val sparkConf = new Sp
浏览 0提问于2016-10-04得票数 0
我正在对twitter上的直播流数据做一些分析。我听说了Spark streaming。我想知道哪些最适合直播流数据的分析，因为我的数据从来源来得非常快。
浏览 0提问于2014-11-22得票数 2
当我尝试使用spark streaming使用来自kafka主题的消息时，得到以下错误错误：
`missing or invalid dependency detected while loading class file 'KafkaUtils.class'
浏览 4修改于2018-07-05得票数 1
注意:即使我使用twitter4j-*-3.03 libraies也会出现错误，比如
package com.mobicloud.bhavani.sparkstreaming
浏览 0修改于2016-04-30得票数 2
我正在编写一个库，将Apache与自定义环境集成起来。我正在实现自定义流源和流编写器。org.apache.spark.sql.AnalysisException: checkpointLocation must be specified either through option("checkpointLocation", ..
浏览 2修改于2018-06-29得票数 8
回答已采纳
在开发SparkStreaming应用程序(python)时，我不太清楚它是如何工作的。我只需读取一个json文件流(在目录中弹出)并对每个json对象和一个引用执行连接操作，然后将其写回文本文件。
浏览 1提问于2017-05-02得票数 0
回答已采纳
我正在运行我的火花流应用程序使用火花提交在纱线集群。当我在本地模式下运行它时，它工作正常。但是，当我试图使用火花提交在纱线集群上运行它时，它会运行一段时间，然后以以下方式退出。Container id: container_1435576266959_1208_02_000002Stack trace: ExitCodeException exitCode=13:
at org.apache.hadoop.util.Shell.runCommand(She
浏览 6提问于2015-10-08得票数 6
回答已采纳
我正在研究星火流上下文，它正在从avro序列化中的kafka主题中获得数据，如下所示。 "bootstrap.servers" -> "localhost:9092", "key.deserializer" -> "io.confluent.kafka.serializers.KafkaAvroDese
浏览 0提问于2018-09-17得票数 0
回答已采纳
我正试图在scala中实现星火流应用程序。我希望使用fileStream()方法来处理新到达的文件以及显示在hadoop目录中的旧文件。
val linesRDD = ssc.fileStream[LongWritable, Text, TextInputFormat](inputDirectory, (t: org.apache.hadoop.fs.Path) => true, false).map(_._2.toString)
但我收到的错误消息如下
浏览 1修改于2017-05-23得票数 4
回答已采纳
我正在尝试将Spark Streaming作业的结果写入到Druid数据源。Spark成功地完成了任务，并将其交给了Druid。Druid开始索引，但没有写入任何内容。import org.apache.spark._import org.apache.spark.streaming._import org.apache.kafka.clients.consumer.ConsumerRecord
import or
浏览 3提问于2017-12-28得票数 1
回答已采纳
有没有可能让流作业一直运行？大约24小时后，它发出此错误并停止处理。我不太确定该怎么处理这件事。 21/01/01 00:03:30 WARN KafkaOffsetReader [stream execution thread for [id =17bf-45aa-a9cd-2f77ec14df61, runId = 43c1-a932-d9f790996a6e]]: Retrying to fetch latest offsets because of incorrect offsets
21/01/01 07:17:04 ERROR RawSocketSender [MdsLogger
浏览 20提问于2021-04-09得票数 0
回答已采纳
我是新的星火流，并试图运行一个例子从教程，我是跟随制作和运行我们自己的NETWORKWORDCOUNT。我完成了第八步，用sbt做了一个罐子。bin/spark-submit --class "NetworkWordCount" --master spark://abc:7077 target/scala-2.11/networkcount_2.11-1.0.jar localhost 9999
java.net.URLClassLoader.findClass(URLC
浏览 3修改于2017-08-05得票数 0
回答已采纳
我正在用Java/Scala编写一个自定义的Spark structured streaming源代码(使用v2接口和Spark 2.3.0)。18/06/20 11:58:49 ERROR MicroBatchExecution: Query [id = 58ec2604-3b04-4912-9ba8-c757d930ac05, runId = 5458caee-6ef7-4864-9968-9cb843075458] terminated with error
java.lang.ClassCastExc
浏览 0修改于2018-06-20得票数 1
我有一个流式作业，它每分钟运行一次，在处理完数据后，将其放到hdfs上，并将结果的简化形式放入数据库中。可以从worker内部停止spark作业吗？(sys.exit显然不起作用)
浏览 0提问于2015-12-10得票数 3
我编写了以下Scala代码，我的平台是CentOS 6.5上的ClouderaCDH5.2.1import org.apache.sparkimport org.apache.spark.SparkContext._import org.apache.spark.streaming.twitter._impo
浏览 1修改于2014-12-21得票数 0
我正在尝试将SparkStreaming与HBase集成。我正在尝试使用最新的API来连接Cloudera上的HBase和SparkStreaming。
这里提到的一些JIRA项目。
浏览 0修改于2016-06-23得票数 1
我想按主题分组，或者在申请时知道消息来自哪个主题： ssc, Subscribe[String, String]( kafkaParameters(BOOTSTRAP_SERVERS,"kafka_test_group_id)) )
然而，在最新的API中，kafka010似乎不像以前的版本那样支持消息处理程序
浏览 16修改于2017-03-16得票数 0
回答已采纳
sparkstreaming一直运行，hdfs://***:9000/spark-log 下的log文件很大，spark-default.conf下配置 spark.executor.logs.rolling.time.interval
浏览 286提问于2018-07-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号