腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
kafka
avro
模式
的
每日
备份
apache-kafka
、
azure-blob-storage
我在kubernetes集群(Azure AKS)上运行
kafka
,想知道如何将
kafka
主题中存储
的
模式
备份
和恢复到azure blob存储中,是否有特定
的
方法或最佳实践。
浏览 17
提问于2021-02-18
得票数 0
回答已采纳
1
回答
卡夫卡能直接连接创造流吗?
apache-kafka-streams
、
apache-kafka-connect
、
ksqldb
我
的
理想是,
kafka
创建与表相对应
的
主题,然后由我声明性地(使用KSQL)创建视图。 虽然我在这里描述
的
东西一开始听起来是可行
的
,但是我对数据--主题中
的
数据
的
结构(
模式
)--有一个问题。卡夫卡作为
模式
的
概念与Kstream/KTable结构(
模式
)和格式(json/
avro
/定界符)有什么关系?如果
Kafka
连接不能直接创建Kst
浏览 2
提问于2019-07-06
得票数 0
回答已采纳
1
回答
如何从apache生成卡夫卡主题中
的
Avro
信息,然后使用
kafka
流阅读?
apache-kafka
、
avro
、
apache-nifi
我想使用apache在
kafka
主题中生成一些通用数据,我希望这些数据是
avro
格式
的
。我为它所做
的
: } GenericAvroSerde
浏览 1
提问于2018-10-09
得票数 1
回答已采纳
1
回答
avro
.io.AvroTypeException: datum <
avro
data>不是架构{...}
的
示例
python
、
apache-kafka
、
apache-storm
、
avro
我们正在使用名为"Pyleus“
的
storm
的
python包装器 我们设置了一个Confluent-
Kafka
JDBC连接器来监视数据库表,每当DB中发生变化时,新记录就会以
Avro
格式作为
Kafka
Kafka
消息中
Avro
数据
的
Avro
模式
是通过使用HTTP GET从Confluent
的
模式
注册表中获得
的
。我将
Kafka
消息中<em
浏览 1
提问于2016-03-01
得票数 0
2
回答
java.lang.NoClassDefFoundError: io/confluent/connect/
avro
/AvroConverterConfig
avro
、
apache-kafka-connect
、
confluent-schema-registry
kafka
2.12-2.4.0融合5.4.1 (or
浏览 0
提问于2020-04-23
得票数 0
1
回答
错误反序列化
Avro
消息-不能将java.nio.HeapByteBuffer转换为java.math.BigDecimal类
java
、
apache-kafka-streams
、
avro
我使用
的
是合流
模式
注册表和
Avro
。使用JDBC连接器将数据输入
kafka
,后者使用SMT来创建正确
的
avro
模式
。使用SpecificAvroSerde反序列化时会出现问题。因此,通常使用
avro
在流处理器中摄取数据、生成
avro
模式
和使用流处理器
的
方法是可行
的
。与本例不同
的
是,该记录包含一个数组(某种主/详细记录)。下面是
模式
<em
浏览 5
提问于2022-06-07
得票数 0
回答已采纳
1
回答
如何在JDBC
Kafka
源连接器中设置动态
模式
名称
jdbc
、
apache-kafka
、
apache-kafka-connect
、
hana
我想为连接器创建
的
avro
模式
提供服装名称/命名空间。因此,我使用了SetSchemaMetadata函数来转换
模式
名称。下面是我
的
连接器配置示例: "key.converter.schemas.enable": true, "transforms.SetSchemaMet
浏览 11
提问于2020-12-16
得票数 1
回答已采纳
2
回答
无密钥
模式
的
Avro
生成器发送密钥
python
、
apache-kafka
、
avro
、
kafka-producer-api
我在Python2.7中使用
Avro
Producer。我需要发送带有键和值
的
消息,该值在主题中有
Avro
-Schema,但是键没有
Avro
-Schema (由于密钥遗留
的
原因,我不能添加Schema )。这是我
的
守则: kafkaBrokers = os.environ.get('
KAFKA
_BROKERS') schemaRegistry = os.environ.getschema required fo
浏览 6
提问于2020-08-25
得票数 0
回答已采纳
1
回答
Flink使用AvroDeserializationSchema读取
avro
主题
scala
、
apache-kafka
、
apache-flink
、
avro
、
flink-streaming
我正在尝试用case类阅读
avro
kafka
的
Scala主题:properties.setProperty("group.id", "flink_app_
avro
AvroDeserializa
浏览 0
提问于2021-02-19
得票数 0
2
回答
卡夫卡-连接FileStreamSourceConnector不会产生一个主题
apache-kafka
、
apache-kafka-connect
我试图创建一个卡夫卡连接连接器,从一个
AVRO
主题到一个文件。水槽工作正常,我可以看到接收器文件正在增长,并读取数据。但是当我试图恢复到一个新
的
主题时,新
的
主题仍然没有数据。我没有错误,我已经重置了偏移量,我创建了一个新
的
Kafka
连接并尝试恢复,我创建了一个完整
的
新
Kafka
集群,并且始终是相同
的
,源连接器上没有错误,但是主题是空
的
。我现在已经尝试了&
浏览 1
提问于2019-02-08
得票数 1
1
回答
如何获取基于连接器名称
的
Kafka
源连接器
模式
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
confluent-schema-registry
、
ksqldb
有人能给我建议吗 我
的
目的是创建一个KSQL流或基于
模式
构建
的
KSQL流或表,由
Kafka
连接器进行投票。
浏览 0
提问于2018-11-22
得票数 2
回答已采纳
1
回答
卡夫卡连接
模式
背后
的
理由是什么?
apache-kafka
、
avro
、
apache-kafka-connect
、
confluent-schema-registry
我们正在编写一个自定义接收器连接器,用于将带有
avro
消息
的
主题
的
内容写入CEPH存储。 为此,我们提供了一个SinkRecords,它有一个
Kafka
模式
,它是我们
的
avro
模式
的
映射版本。因为我们想要将
Avro
写到CEPH,所以我们使用connect API方法将Connect
模式
转换回
avro
。我们为什么要这么做?引入
Kafka
连接
模式
和不
浏览 2
提问于2017-09-19
得票数 5
回答已采纳
1
回答
使用Apache Spark生成
Avro
主题到
Kafka
scala
、
apache-spark
、
apache-kafka
、
apache-spark-sql
、
spark-avro
我已经在本地安装了
kafka
(目前没有集群/
模式
注册表),正在尝试生成一个
Avro
主题,下面是与该主题相关
的
模式
。来创建一些基于上述
模式
的
数据,并将其发布到
kafka
。考虑创建示例数据,将其转换为dataframe,然后将其更改为
avro
,然后发布。","localhost:9092") .option("topic","customer_
avro</
浏览 9
提问于2019-04-21
得票数 1
1
回答
无法使用汇合平台将
Avro
数据推送到HDFS
apache-kafka
、
hdfs
、
avro
、
apache-kafka-connect
、
confluent-platform
我有一个系统将
Avro
数据推入到多个
Kafka
主题中。 在更改主题名称之后,我启动了
kafka
-connect-hdfs。这一步骤也是成功
的
。在此之后,我开
浏览 2
提问于2017-01-20
得票数 1
1
回答
阿夫罗: org.apache.
avro
.AvroTypeException:预期很长。Got START_OBJECT
apache-kafka
、
avro
我正在开发一个
Avro
模式
,并试图创建一个测试数据来用Kafa测试它,但是当我生成消息时得到了这样
的
错误:“由: org.apache.
avro
.AvroTypeException: Expected. got START_OBJECT引起
的
”我创建
的
模式
如下: "name": "MyClass", "namespac
浏览 18
提问于2022-01-11
得票数 0
2
回答
无法将映射数组写入jmeter中
的
kafka
apache-kafka
、
jmeter
我想用jmeter生成给
kafka
的
消息。我在下面找到了与jmeter集成
的
建议:Develop Apache
Kafka
producer and load testing using JMeter 我还发现了https://github.com/corunet/kloadgen,它集成了confluent
模式
,可以让你向
kafka
主题编写
avro
消息。我正在尝试使用jmeter将以下
模式
消息写入
kaf
浏览 22
提问于2020-06-23
得票数 0
1
回答
Kafka
Streams API如何从
模式
注册表获取正确
的
模式
?
apache-kafka-streams
、
confluent-platform
、
confluent-schema-registry
我试图理解
Kafka
Streams API是如何与Schema Registry一起工作
的
。我知道在设置应用程序时必须指定Schema Registry URL,但我无法理解如果不指定主题名称或ID,应用程序如何从注册表检索正确
的
模式
。 它使用主题名称检索
模式
?
浏览 2
提问于2019-11-25
得票数 2
1
回答
在尝试生成数据时“错误注册
Avro
模式
”
apache-kafka
、
spring-kafka
、
avro
、
confluent-schema-registry
我正试图以
avro
模式
的
格式为我
的
kafka
主题生成一些数据,但却出现了以下错误我
的
avro
模式
如下所示 {"namespace": &quo
浏览 8
提问于2022-05-30
得票数 0
回答已采纳
2
回答
如何使用
Avro
序列化程序和
模式
注册表向
Kafka
发送消息
java
、
apache-kafka
、
avro
、
confluent-schema-registry
我试图用
Avro
序列化程序和
模式
注册表向
Kafka
发送一个对象。 Properties props = new Properties(); ...“幕后”读取
的
,并且对象(用户)是序列化
的
,但我在下面得到了错误。我是否必须显式读取
模式
并发送一个GenericRecord?(AbstractKafkaAvroSerDe.java:123) ~
kafka
-
avro
-序列化-3.3.0.jar!:73
浏览 6
提问于2017-10-31
得票数 1
2
回答
从对象构建新
的
SourceRecord
java
、
apache-kafka
、
apache-kafka-connect
我正在编写一个
Kafka
连接器,以便从Github上
的
多个来源下载一些数据(文本和yaml文件),并将它们转换为某个类
的
对象,这些对象是从avsc文件自动生成
的
: { record.getKey(), record.getValue())} 如何根据
avro
schema定义org.apache.
kafka
.connect.data.Schema类型
浏览 11
提问于2019-06-04
得票数 1
回答已采纳
点击加载更多
相关
资讯
kafka增加topic的备份数量
Apache Spark 2.4 内置的 Avro 数据源实战
镜像备份各种模式的讲解。
易备的增量备份模式
“事件驱动架构”Kafka中的模式注册表和模式演化
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券