首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏CNCF

    Strimzi项目

    名称:Strimzi 类型:Kafka操作器 说明:Strimzi允许开发者在Kubernetes上运行Apache Kafka及其生态系统。 有关谁参与以及Strimzi扮演角色的详细信息,请阅读Strimzi的建议书: https://github.com/cncf/toc/blob/master/proposals/strimzi.adoc 网站/代码: https://strimzi.io/ https://github.com/strimzi 文档: https://strimzi.io/quickstarts/ https://strimzi.io /documentation/ https://strimzi.io/blog/ https://strimzi.io/presentations/ 错误和功能请求: https://github.com /strimzi/strimzi-kafka-operator/issues 即时交流: https://cloud-native.slack.com/?

    1.6K30发布于 2019-12-04
  • 来自专栏CNCF

    Strimzi改进了Prometheus的Kafka指标

    https://strimzi.io/2019/10/08/strimzi-apache-kafka-and-tracing.html https://github.com/danielqsj/kafka_exporter 要在Strimzi中启用JMX导出器,你必须在Strimzi Kafka、KafkaConnect和KafkaConnectS2I自定义资源中指定metrics部分。 https://github.com/strimzi/strimzi-kafka-operator/tree/master/metrics/examples https://strimzi.io/docs https://github.com/strimzi/strimzi-kafka-operator/blob/master/metrics/examples/grafana/strimzi-kafka-exporter.json https://github.com/strimzi/strimzi-kafka-operator https://twitter.com/strimziio

    2.9K10发布于 2019-12-04
  • 来自专栏实战docker

    strimzi实战之一:简介和准备

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 关于strimzi strimzi是一个开源项目, 已加入了CNCF,官网地址:https://strimzi.io/ 借助strimzi,既能快速部署kafka服务,又能对kafka服务进行细致的调节,还能扩展出更多的能力,典型的扩展能力如下: 监控( 的功能更加丰富,很多与消息有关的场景都能通过strimzi组件来实现 strmzi在GitHub已开源,地址是:https://github.com/strimzi/strimzi-kafka-operator 为什么是strimzi? 关于《strimzi实战》系列 欣宸喜欢写系列文章,此风格在其他作品中已显露无疑,《strimzi实战》亦是如此,通过这个系列,除了掌握strimzi的各种功能,更是要深入学习strimzi的源码,我就想知道

    1K20编辑于 2022-11-14
  • 来自专栏实战docker

    strimzi实战之二:部署和消息功能初体验

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本篇是《strimzi实战》系列的第二篇 ,前文完成了介绍和准备工作,是时候体验strimzi的核心功能了:发送和接受kafka消息,为了完成这个目标,本篇会按照如下步骤开始实战: 在kubernetes环境部署strimzi,这里面包含两个步骤 namespace=kafka' -n kafka 启动 接下来的启动操作,根据您的实际情况,有两种可选 第一种:如果您的k8s环境已经准备好了pv,请执行以下命令完成部署,strimzi会通过pvc去申请使用 -566948f58c-h2t6g 1/1 Running 0 30m 基本操作:收发消息 strimzi部署已经OK,现在收发消息试试,看kafka基本功能是否正常 -n kafka \ && kubectl delete -f 'https://strimzi.io/install/latest?

    1K30编辑于 2022-11-16
  • 来自专栏CNCF

    使用Strimzi和Minikube开发Kafka应用程序(视频)

    在Minikube中使用Strimzi可以使事情变得更简单。只需几行YAML,就可以非常轻松地部署具有启用安全性的多节点集群。观看我们的视频开始。

    73820发布于 2020-04-20
  • 来自专栏实战docker

    Strimzi Kafka Bridge(桥接)实战之三:自制sdk(golang版本)

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge (桥接)实战》的第三篇,前文咱们掌握了Strimzi Kafka Bridge的基本功能:基于http提供各种kafka消息的服务 此刻,如果想通过http接口调用bridge的服务,势必要写不少代码( 因为Strimzi Kafka Bridge提供的OpenApi配置,用来生成客户端sdk之后,是无法正常使用的!!! :0.22.3 swagger-codegen-cli:2.4.9 需要注意的是,swagger工具是jar格式的,因此需要当前环境准备好JDK 下载OpenApi的配置文件 Strimzi Kafka /strimzi/strimzi-kafka-bridge/zip/refs/tags/0.22.3 ,下载后解压得到名为strimzi-kafka-bridge-0.22.3的文件夹 这个文件就是OpenApi

    93650编辑于 2022-12-19
  • 来自专栏实战docker

    Strimzi Kafka Bridge(桥接)实战之二:生产和发送消息

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战之》系列的第二篇,咱们直奔bridge的重点:常用接口,用实际操作体验如何用bridge完成常用的消息收发业务 官方的openapi接口文档地址 : https://strimzi.io /docs/bridge/in-development/#_openapi 整篇文章由以下内容构成: 准备工作:创建topic 生产消息 消费消息,strimzi bridge消费消息的逻辑略有些特殊 ,就是要提前创建strimzi bridge consumer,再通过consumer来调用拉取消息的接口 完成本篇实战后,相信您已经可以数量的通过http来使用kafka的服务了 准备工作:创建topic --replication-factor 1 检查topic创建是否成功 kubectl -n aabbcc \ run kafka-producer \ -ti \ --image=quay.io/strimzi

    1.2K20编辑于 2022-12-02
  • 来自专栏实战docker

    Strimzi Kafka Bridge(桥接)实战之一:简介和部署

    桥接)实战》 在strimzi技术体系中,桥接(bridge)是很要的功能,内容也很丰富,因此将桥接相关的内容从《strimzi实战》系列中独立出来,成立桥接相关的系列文章,便于分类和专项深入 本篇概览 Kafka Bridge就是今天的主角:strimzi桥接服务,从下图很容易看出它的作用:通过http接口来生产和消费kafka消息 在整个strimzi技术体系中,bridge可谓举足轻重,如下图红框 :kafka-operator 整个部署过程非常简单,首先确认kubernetes和strimzi的operator都已经部署完成,kafka服务也已经部署好了(部署细节请参考《strimzi实战之二: /cluster: my-bridge strimzi.io/kind: KafkaBridge strimzi.io/name: my-bridge-bridge 执行以下命令让上述service 如果真的存在安全问题,strimzi都应对之策吗?

    1.2K30编辑于 2022-11-21
  • 来自专栏k8s技术圈

    Kafka Operator 实践和解析

    业界中主流的 Kafka Operator on K8s 方案分别有 Strimzi 社区推出的 strimzi-kafka-operator[1]和 banzaicloud 公司推出的 koperator 二、Strimzi Kafka Operator 介绍 Strimzi Kafka Operator 基于 fabric8 k8s client 实现的 Kafka Operator,为 K8s 上自动化部署 图1 strimzi kafka operator支持Kafka集群及周边生态[3] Strimzi Kafka Operator 封装了多层级的 Operator,顶层由四个 Operator 来实现 namespace=kafka-operator > strimzi-kafka-operator.yaml • 修改 STRIMZI_NAMESPACE 环境变量值为*,以便 Cluster operator 相关参考 1. strimzi-kafka-operator: https://github.com/strimzi/strimzi-kafka-operator 2.koperator: https:

    1.9K10编辑于 2023-12-12
  • 来自专栏实战docker

    strimzi实战之三:prometheus+grafana监控(按官方文档搞不定监控?不妨看看本文,已经踩过坑了)

    的官方资料中,搭建监控服务是基于prometheus-operator来做的 也就是说,按照strimzi官方的资料部署好的监控服务中,只能看到strimzi相关的内容,例如消息相关、kafka服务相关 动手前快速浏览官方操作指导,对基本操作有个大概了解(自己遇到的问题也在此指出,为您把坑提前避开) strimzi关于监控相关的资料链接如下图红色箭头,地址是:https://strimzi.io/docs 的资源 kubectl create -f 'https://strimzi.io/install/latest? ,下载地址:https://gitee.com/zq2599/blog_download_files/raw/master/strimzi/prometheus/strimzi-pod-monitor.yaml 中部署监控的实战已经完成,希望本篇能给您一些参考,助您顺利完成部署,欢迎您继续关注《strimzi实战》系列,接下来会解锁更多strimzi的神奇能力

    76410编辑于 2022-11-18
  • 来自专栏东风微鸣技术博客

    容器化应用系统上生产的最佳实践

    kafka-prod-kafka labels: app.kubernetes.io/instance: kafka-prod app.kubernetes.io/managed-by: strimzi-cluster-operator app.kubernetes.io/name: strimzi strimzi.io/cluster: kafka-prod strimzi.io/kind: Kafka strimzi.io/name: kafka-prod-kafka spec: selector: matchLabels: strimzi.io/cluster: kafka-prod strimzi.io/kind: Kafka strimzi.io/name: kafka-prod-kafka maxUnavailable: 1 kind: PodDisruptionBudget

    85420编辑于 2022-04-21
  • 来自专栏HelloGitHub

    懒人福音——GitHub 热点速览 Vol.42

    Strimzi 解决了 k8s 等平台跑 Kafka 的烦恼,让你直接用 Strimzi 即可运行 Kafka,当然大厂也不示弱,swift-algorithms 便是苹果开源的算法集合包。 2.5 k8s 跑 Kafka:Strimzi 本周 star 增长数:400+ Strimzi 提供了在 Kubernetes 或 OpenShift 上以各种部署配置运行 Apache Kafka 此外,Strimzi 也是一个 CNCF 的沙盒孵化项目。 GitHub 地址→https://github.com/strimzi/strimzi-kafka-operator 2.6 类 Excel 开源表格:Luckysheet 本周 star 增长数:1650

    1.5K10发布于 2021-05-14
  • 来自专栏ApacheHudi

    基于Apache Hudi和Debezium构建CDC入湖管道

    schema1.table1, schema1.table2; ALTER TABLE schema1.table1 REPLICA IDENTITY FULL; 3.4 Debezium 连接器 Strimzi kubectl create namespace kafka kubectl create -f https://strimzi.io/install/latest? kafka kubectl -n kafka apply -f kafka-connector.yaml kafka-connector.yaml 的示例如下所示: apiVersion: kafka.strimzi.io 6.2.0 as cp RUN confluent-hub install --no-prompt confluentinc/kafka-connect-avro-converter:6.2.0 FROM strimzi : https://strimzi.io/blog/2020/01/27/deploying-debezium-with-kafkaconnector-resource/ [19] Debezium 连接器

    3K20编辑于 2022-04-01
  • 来自专栏深度学习与python

    Grab 改进 Kubernetes 集群中的 Kafka 设置,无需人工干预就可轮换 Broker 节点

    作为其 Coban 实时数据平台的一部分,Grab 已经在 Kubernetes (EKS) 上使用 Strimzi 在生产环境中运行 Apache Kafka 两年了。 团队之前使用了 Strimzi(现已成为 CNCF 孵化项目),通过应用成熟的身份验证、授权和保密机制来提升 Kafka 集群的安全性。 通过对 Kubernetes 和 Strimzi 进行额外配置,能够在新集群上自动创建 EBS 卷,并在将 Kafka Pod 重定位到不同工作节点时在 EC2 实例之间附加 / 分离卷。

    70510编辑于 2024-02-29
  • 来自专栏东风微鸣技术博客

    有状态应用如何在k8s上快速扩容甚至自动扩容

    . + 监控 这里以Strimzi为例 - Strimzi Overview guide (0.20.0). 这是一个Kafka的Operator. 提供了Apache Kafka组件以通过Strimzi发行版部署到Kubernetes。Kafka组件通常以集群的形式运行以提高可用性。 即可完成一套复杂的部署: 资源请求(CPU /内存) 用于最大和最小内存分配的JVM选项 Listeners (和身份验证) 认证 存储 Rack awareness 监控指标 apiVersion: kafka.strimzi.io 当然, 由于Kafka的特殊性, 如果要将新增的brokers添加到现有集群, 还需要重新分区, 这里边涉及的更多操作详见: Scaling Clusters - Using Strimzi TiDB

    2.2K40编辑于 2022-04-21
  • 来自专栏深度学习与python

    Cloudflare 的 Kafka 之旅:万亿规模消息处理经验分享

    原文链接: https://www.infoq.com/news/2023/04/cloudflare-kafka-lessons-learned/ 相关阅读: 使用 Strimzi 将 Kafka 和 Debezium 迁移到 Kubernetes(https://www.infoq.cn/article/ElNtSM5ISobpMB8fMC0j) 使用 Strimzi 提高 Kafka 集群的安全性

    43010编辑于 2023-05-09
  • 来自专栏架构随笔录

    Kafka生态

    13.10/binary/ and for RHEL http://repository.stratio.com/sds/1.1/RHEL/ 1.4 IBM Event Streams http://strimzi.io Downloads and Helm Chart https://github.com/strimzi/strimzi-kafka-operator/releases/latest 1.5 Strimzi http://strimzi.io/ - Apache Kafka Operator for Kubernetes and Openshift. Downloads and Helm Chart - https://github.com/strimzi/strimzi-kafka-operator/releases/latest 1.6 TIBCO

    5.1K10发布于 2020-02-24
  • 来自专栏MoeLove

    K8S 生态周报| etcd v3.4.0 带来众多更新

    更多关于此版本的信息,请参考 Release Note 3 Strimzi 成为 CNCF sandbox 项目 Strimzi 是一个致力于将 Apache Kafka 运行在 Kubernetes

    69220发布于 2019-09-03
  • 来自专栏企业容器化之路

    Kubernetes 部署 Kafka 集群 「Helm 部署案例」

    更多集群外案例请参考 https://github.com/itboon/kafka-helm/blob/main/docs/external.md 其他 Kafka Kubernetes 部署方案 strimzi-kafka-operator

    6.9K10编辑于 2025-01-15
  • Kafka源码深度解析与面试攻坚:云原生和Serverless的融合之路

    此外,ZooKeeper的稳定性在容器环境中更关键,建议使用Operator(如Strimzi)自动化管理。 在Kubernetes上部署Kafka时,通常采用Operator模式,例如使用Strimzi 2025最新版本或Confluent Operator来自动化集群的生命周期管理。 安装Strimzi Operator:通过Kubernetes manifest或Helm安装Strimzi,用于管理Kafka集群的生命周期。 kubectl create namespace kafka kubectl create -f 'https://strimzi.io/install/latest? 建议使用Strimzi或Confluent Operator这类工具,它们提供了生产可用的Kafka资源定义和自动化运维能力。

    31610编辑于 2025-11-28
领券