回答情况：
提问时间：
问题标签：
使用Kafka Spark-Streaming。能够读取和处理生产者发来的数据。我在这里有一个场景，让我们假设生产者正在产生消息，而消费者被关闭了一段时间，然后打开了。
浏览 3提问于2017-02-06得票数 0
我没有太多使用Kafka/ Spark-Streaming的经验，但我读过很多关于组合在为分析/仪表板构建实时系统方面有多棒的文章。有人能给我解释一下为什么spark-streaming不能单独完成吗？换句话说，为什么Kafka在数据源和spark-streaming之间？
谢谢
浏览 1提问于2016-01-11得票数 1
我是Spark和HBase的新手，但我需要将两者链接在一起，我尝试了spark-hbase-connector库，但使用spark-submit时，即使没有显示错误，它也不起作用。我在这里和其他地方搜索了类似的问题或教程，但都找不到，所以谁能解释一下如何从Spark streaming中写入HBase，或者推荐一个教程或一本书？提前谢谢你
浏览 1提问于2016-03-27得票数 0
我是spark的新手，我正在尝试从kafka主题中接收一个被构造为json的DStream，我想解析每个json的内容。我收到的json是这样的：
{"type":"position","ident":"IBE32JZ","air_ground":"A","alt":"34000","clock":"1409733420","id":"IBE32JZ-1409715361-ed-0002:0","
浏览 0提问于2014-09-03得票数 9
回答已采纳
上的spark流媒体网站提到了以下代码： rdd.foreachPartition { partitionOfRecords => val connection = ConnectionPool.getConnection()
浏览 3修改于2015-06-03得票数 9
回答已采纳
我对spark比较陌生，我想知道在Cassandra中使用spark-streaming时的最佳实践是什么。
通常，在执行IO时，最好在Future中执行它(在Scala中)。
浏览 4修改于2016-07-03得票数 2
我正在使用一个来自kafka的数据流，它看起来像下面的记录。我一直在努力使用嵌套的JSON字段进行适当的模式设置。这是我正在做的一个示例。我缺少的是只获取实际值的能力，而不是数组或rdd类型。感谢任何人的帮助。
{"Source":"10.30.110.45:42757","Telemetry":{"node_id_str":"ASR9006","subscription_id_str":"qos","encoding_path":"Cisco-IOS-XR-
浏览 0提问于2018-05-12得票数 1
我是kinesis的新手，我正在尝试使用spark-streaming (Pyspark)处理kinesis流数据，并面临以下错误
data.pprint(
浏览 0修改于2019-07-20得票数 2
spark-streaming-twitter_2.11" % "2.2.0.1.0.0-SNAPSHOT"
libraryDependencies += "org.apache.spark" %% "spark-streaming
浏览 2修改于2017-09-18得票数 1
我运行的是Spark 2.3.1独立集群。我的工作是每2分钟消费一次Kafka迷你批次，并将聚合写到某个商店。Job如下所示： val stream = KafkaUtils.createDirectStream(...) .flatMap(r=> ... List[Row] ) .reduceByKey((r1, r2) => r) .foreachRDD { (rdd, time) => /
浏览 4修改于2019-05-29得票数 0
我正在尝试通过帮助twitter-streaming.But来保存来自twitter的保存推文，但我有一个问题:我的程序在一段时间后停止工作(取决于接近4-5秒的1毫秒的批处理间隔)。所以，你能帮我解决这个问题吗)。请告诉我出了什么问题？19/08/06 23:45:26 INFO BlockRDD: Removing RDD 103 from persistence list19/08/06 23:45:26 INFO Twitte
浏览 7提问于2019-08-07得票数 0
回答已采纳
我有一个火花流应用程序，它使用来自topic1的数据并解析它，然后将相同的记录发布到两个过程中，一个是topic2，另一个是hive表。将数据发布到kafka topic2时，我看到重复项，但在配置单元表中看不到重复项 使用spark 2.2，Kafka 0.10.0 KafkaWriter.write(spark, storeSalesStreamingFinalDF, config)
def write(spark: Spark
浏览 9修改于2019-07-14得票数 0
我对Spark-Streaming和Kafka有意见。
浏览 21修改于2019-09-18得票数 4
回答已采纳
我可以通过CSV文件发送我的数据。首先，将我的随机数写入CSV文件，然后发送它，但是可以直接发送它吗？我的套接字代码：host = 'localhost's.bind((host, port))while True: conn, addr = s.accept(
浏览 1修改于2017-12-10得票数 1
回答已采纳
Spark streaming应用程序实时接收来自大量IoT设备的数据。但它们都是少量的数据。整体流程看起来像是-> Iot -> Kafka(1个主题/所有数据) ->火花流(过滤错误日志) -> DB(保存) ->警报屏幕 有没有使用spark或python进行实时日志分析的好方法？ ?
浏览 13修改于2020-11-22得票数 0
回答已采纳
我是Spark中的菜鸟，我使用我定义的类生成1000个不同的实例(这些实例中的函数是相同的，但详细函数的参数不同)。sampler=generateClass()然后我需要将这些实例的函数映射到我的Stream。(为了测试，只使用10和2个实例)。for i in range(10):
uStream=ssc.union(s[0],s[1],s[2],s[3],s[4],s[5],s[6],s[7],s[8],s[9
浏览 0提问于2016-11-21得票数 0
我尝试通过spark streaming (jdbc)将avro文件的数据集加载到Teradata表中。配置设置正确，加载在一定程度上成功(我可以验证数据行是否已插入到表中)，但中途开始出现异常，加载失败。堆栈跟踪如下所示。有什么可能导致这种情况的线索吗？java.sql.BatchUpdateException: [Teradata JDBC Driver] [TeraJDBC 16.20.00.02] [Error 1
浏览 11修改于2018-03-07得票数 0
我使用的是spark streaming的1.6版本。如果发生这种情况，我应该怎么做？(请注意，动态分配选项不可用。)## log example, at the time of shutdown.
WARN TransportChannelHandler: Exception in connection from xxxx-hostname/12.34.5
浏览 2提问于2018-02-15得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号