confluent-kafka-go是已知的kafka 客户端中最快的,为什么呢?因为它非常轻量,通过cgo 对librdkafka做了一个封装,所以本质上运行的是一个c客户端。 一、安装和配置 安装 go get -u github.com/confluentinc/confluent-kafka-go git clone https://github.com/edenhill 消费者也主要调用了三个接口 1, kafka.NewConsumer 2,c.SubscribeTopics 3, msg, err := c.ReadMessage(-1) 消费消息 下面我们看下confluent-kafka-go
最近在给组里用到的镜像瘦身,也就是用一个更轻一点的基础镜像来重新构建服务的镜像,然后发现我们的项目 indirect 依赖到了 confluent-kafka-go,然后这玩意是需要在本地环境用到 librdkafka
使用 confluent-kafka-go 体验 Kafka Go 中有两个比较有名的 Go Client,即 kafka-go 和 confluent-kafka-go。我都不熟悉? ,但是前面编排时用到了 confluent 公司的 Kafka 镜像,所以这里选用 confluent-kafka-go 创建 Client。 confluent-kafka-go 项目的 example 拿来即用。 // kafka_consumer.go package main import ( "fmt" "github.com/confluentinc/confluent-kafka-go/kafka // kafka_producer.go package main import ( "fmt" "github.com/confluentinc/confluent-kafka-go/kafka
Kafka 客户端 既然 Kafka 在架构中的地位如此重要,那么需要选择一下用哪个客户端,其 Golang 客户端主要有:sarama、confluent-kafka-go、kafka-go,优缺点如下 confluent-kafka-go:它是基于 librdkafka 实现的 CGO,这意味着使用了这个包,你的代码就会依赖 C 库,和 sarama 相比,它的文档更好,但是同样不支持 context kafka-go:前面关于 saram 和 confluent-kafka-go 的坏话都是它说的。 看上去似乎 kafka-go 最好,confluent-kafka-go 次之,sarama 最烂,可是当我问一个鹅厂小伙伴的时候,他说他们都用 sarama,信大厂得永生,于是乎我也决定选 sarama
exemplar的wal 支持remote write指标到存储 kafka消费端 本项目使用的是腾讯的cKafka golang的kafka消费端需要用到github.com/confluentinc/confluent-kafka-go
github.com/nuance/kafka https://github.com/jdamick/kafka.go KKaaffkkaa VVeerrssiioonn:: 0.7.x ------------- confluent-kafka-go 0.8.x+ MMaaiinnttaaiinneerr:: Confluent LLiicceennssee:: Apache v2.0 https://github.com/confluentinc/confluent-kafka-go
与 https://github.com/confluentinc/confluent-kafka-go 和 https://github.com/Shopify/sarama 一起,作为最常用的三个golang
首先我们来看一下issue:https://github.com/confluentinc/confluent-kafka-go/issues/195,涉及到问题:Why CommitOffsets()
github.com/nuance/kafka https://github.com/jdamick/kafka.go Confluent:https://github.com/confluentinc/confluent-kafka-go
一、kafka的类库go常用的kafka库有sarama(推荐), 还有 confluent-kafka-go 等。
Confluent-kafka-go:Confluent-kafka-go是一个由Confluent公司维护的Kafka客户端库。它提供了一系列API以连接Kafka集群并进行生产者和消费者操作。
https://github.com/Shopify/sarama https://github.com/confluentinc/confluent-kafka-go Kafka 概念复习 Broker