2回答
一个码头容器中的两个进程还是连接到同一个数据库的两个服务？
python、microservices、docker、flask、apache-kafka
该应用程序的总体思路是：我想将每个步骤分割成一个单独的服务。我想我有两个选择，这里的微服务体系结构的最佳实践是什么？备选方案一
备选案文二
刮刀服务-刮
浏览 0提问于2016-09-22得票数 4
回答已采纳
1回答
Kafka与RDBMS的集成
apache-kafka
有没有人能帮我把Kafka和RDBMS集成起来的步骤，我必须把数据从一个表流到spark mllib中。除了Kafka之外的任何解决方案也会有所帮助。
浏览 3提问于2015-09-10得票数 0
2回答
卡夫卡MySQL作为消费者
mysql、apache-kafka
我有卡夫卡作为服务器生态系统中的消息代理，我能以某种方式使MySQL成为消费者吗？
我需要直接用卡夫卡的数据库来写数据。
浏览 7提问于2015-07-07得票数 1
回答已采纳
1回答
从mysql到mongo数据库的数据调度问题
mysql、mongodb、apache-kafka、etl、data-synchronization
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL</
浏览 14提问于2020-02-04得票数 0
1回答
apache flink可以保存到数据库，然后以容错的方式发布到kafka吗？
apache-flink
apache flink可以保存到数据库，然后以容错的方式发布到kafka吗？如果发布到kafka失败，则不应保存到数据库或恢复发布。我们可以在这种情况下使用flink吗？
浏览 7提问于2020-03-20得票数 0
1回答
Kafka消费者，能够处理大量消息
performance、consumer、apache-kafka
在一般情况下，Kafka的消费者可以是任何东西，连接到Kafka并获取消息。我对已知的Kafka消费者感兴趣有几个目的：2)处理消息并将结果保存到文件中谢谢。
浏览 4提问于2015-07-29得票数 0
2回答
如何定期向hadoop提供数据
mysql、hadoop
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
KSQL流未从主题中获取输出
confluent-platform、ksqldb
我已经将kafka连接到mysql。该主题包含AVRO格式的数据。现在，我想将该数据转换为CSV格式。为此，我使用了KSQL流。当我像这样创建流时(如果我用相同的主题运行消费者命令，它会显示数据)，然后给select * from source_avro，它不会显示任何数据
浏览 1提问于2019-04-23得票数 1
1回答
将Avro转换为字节并将字节数据存储到MySQL中
java、byte、avro
我想知道如何将customer avro对象转换为Byte并将其存储在数据库中。非常感谢!
浏览 52提问于2021-02-10得票数 0
1回答
如何轻松地将流结果保存到远程数据库中？
apache-kafka、apache-kafka-connect
相反，如何通过REST或其他任何方法轻松、快速地将结果保存到远程数据库中。汇合平台上有什么结构吗？代码示例: //而不是代码，发送远程数据库
wordCounts.toStream().to("streams-wordcount-output"，Produced.with(stringSerde，longSerde
浏览 0提问于2019-03-27得票数 1
回答已采纳
1回答
外部查找Spark流
apache-spark、cassandra、pyspark、spark-streaming、pyspark-sql
我有一个数据流从mysql表到kafka到我的spark program.When，插入了一个新的行，我在流上做了转换并保存到cassandra。我知道我可以选择使用状态流和数据库连接器，当我需要执行外部查找时，有人可以解释我有什么其他选择吗？
浏览 2提问于2018-05-09得票数 2
1回答
在Kafka streams作业中执行同步数据库查询或restful调用是一种好的做法吗？
apache-kafka、bigdata、streaming、apache-kafka-streams
我使用Kafka streams来处理实时数据，在Kafka streams任务中，我需要访问MySQL来查询数据，并且需要调用另一个restful服务。
所有的操作都是同步的。
浏览 3提问于2018-08-21得票数 1
1回答
如何使用Kafka Streams/Connect保持MySQL数据库与HBASE同步？
mysql、hbase、apache-kafka-connect
我想同步HBASE数据库作为由MySQL产生的更新触发器与Kafka Streams或Kafka连接的帮助。关于它的可能性和它是如何实现的，有什么建议吗？
浏览 22提问于2019-11-27得票数 0
3回答
与Hbase集成的Spark Structured Streaming
scala、apache-spark、apache-kafka、hbase、spark-streaming
我们正在对从MySQL收集的卡夫卡数据进行流式处理。现在，一旦所有的分析都完成了，我想把我的数据直接保存到Hbase。我已经浏览了spark结构的流文档，但在Hbase上找不到任何接收器。下面是我用来从Kafka读取数据的代码。val records = spark.readStream.format("kafka").option("subscribe", "kaapociot").option("
浏览 0提问于2017-11-07得票数 5
1回答
有没有可能把debezium产生的卡夫卡信息沉到雪花上
apache-kafka、snowflake-cloud-data-platform、debezium
我使用来测试debezium mysql cdc特性，消息通常可以流。在kafka中，创建mysql连接的请求主体如下： "name": "inventory-connector", }然后我需要把卡夫卡的信息转化成雪花，我的团队使用的数据仓库。":"true"
浏览 2提问于2021-06-24得票数 0
回答已采纳
1回答
使用REST服务和Kafka将CPU密集型工作分流给后台工作人员
rest、asynchronous、apache-kafka、message-queue
我的设计是将用户请求包装为任务(具有唯一的任务id)并推送到Kafka。后台工作人员订阅Kafka并处理任何传入的任务。REST服务将任务保存到数据库中，将任务id推送到Kafka，然后立即返回任务id。用户使用任务id轮询任务状态。这是一种很少发生的边缘情况。那么我如何
浏览 2提问于2018-02-08得票数 0
1回答
Kafka-Connect vs Filebeat & Logstash
elasticsearch、filebeat、apache-kafka-connect
我希望从Kafka消费，并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法:使用Filebeat从Kafka消费并将其发送到ES和使用Kafka-Connect框架。Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。
我不知道该用哪一个来发送流数据。虽然我认为，如果我想在某个时候从Kafka中获取数据并将其放入Cassandra中，我可以
浏览 12提问于2016-09-13得票数 9
回答已采纳
1回答
Kafka消费者诉Apache Flink
apache-kafka、spark-streaming、avro、kafka-consumer-api、apache-flink
我做了一个poc，在其中我使用火花流读取来自Kafka的数据。但是我们的组织要么使用Apache或者Kafka使用者来读取Apache中的数据作为一个标准过程。所以我需要用Kafka消费者或者Apache来代替Kafka流媒体。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据，并在cassandra中放置字段，因此建议使用Kafka使用者，而不是flink/其他流，因为我实际上不需要对<e
浏览 4提问于2017-03-26得票数 0
1回答
java包中接收器连接器的实现
java、apache-kafka、apache-kafka-connect
我已经启动了zookeeper，kafka服务器，kafka生产者和kafka消费者，我已经把从confluent下载的jdbc sql连接器jar放在路径中，我已经在connect-standalone\config\sink quickstart-MYSQL.properties没有任何错误，但是它有很多警告并且没有开始，但是我的数据没有反映在tables.what中我错过了，你能帮我吗我有下面的警告<init>(Reflections.java:140)
at org.a
浏览 21提问于2020-10-28得票数 0
1回答
Kafka实时流vs Micro服务
apache-kafka、kafka-consumer-api、kafka-producer-api
选择Kafka实时流是否有gbps的最低报文速率要求？
我们可以在Kafka中处理非常低的消息率吗？
浏览 0提问于2019-03-31得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号