首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何冻结一个主题的AVRO schema的新版本,从而拒绝不符合要求的消息?

如何冻结一个主题的AVRO schema的新版本,从而拒绝不符合要求的消息?
EN

Stack Overflow用户
提问于 2019-11-22 08:39:30
回答 2查看 175关注 0票数 0

使用Java Client producer,可以在发布到主题之前对消息进行微调以符合模式格式。

使用kafka rest proxy,如果消息无法用kafka avro模式版本反序列化,如何拒绝消息?这是为了防止不符合模式的客户端添加垃圾。我看到这个版本会自动升级到一个主题的新模式。如何限制消息发布到主题?这可能是由于所有bug的生产者客户端。

我正在搜索文档,我刚开始学习卡夫卡。我知道消费者可以通过offset变得更聪明,但我想从一个主题中清理垃圾。谢谢。

EN

回答 2

Stack Overflow用户

发布于 2019-11-22 11:15:26

例如,如果不在注册表前面放置一些拒绝模式更新请求的反向代理,Apache Kafka就无法防止这种情况发生。你必须拒绝任何绕过代理的人的访问

票数 0
EN

Stack Overflow用户

发布于 2019-11-22 12:21:09

如果我正确理解了您的问题,您需要拒绝所有与您的标准模式不兼容的事件,如果它是正确的,那么如果您尝试AVRO模式注册表兼容性检查将是有帮助的。

如何冻结一个主题的AVRO schema的新版本,从而拒绝不符合要求的消息?

如果你想冻结模式的一个版本,然后对所有必填字段使用FULL/FULL_TRANSITIVE兼容类型,现在你不能删除任何字段,因为注册表不允许删除非可选字段,只能添加可选字段。因此您可以冻结现有字段的删除,但是仍然可以添加可选字段,这应该不会对其他不相关的客户端造成影响。

希望它能帮上忙!

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58985838

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档