- 综合排序
- 最热优先
- 最新优先
- 来自专栏南非骆驼说大数据
Elasticsearch 跨集群搜索配置 CCS
但是，集群节点不可能无限增加。因为，当集群meta信息（节点，索引，集群状态）过多，会导致集群更新压力变大，单个Active Master会成为性能瓶颈，导致整个集群无法正常工作。 因此，ES官方推出了一个跨集群搜索的功能（Cross Cluster Search）,我们今天就来一探究竟。 一、跨集群搜索案例 要执行跨集群搜索，必须至少配置一个远程集群。 二、使用跨集群搜索 首先，我们在集群1上写入点数据，注意kibana端口是5601如下： image.png 其次：我们去集群2上，搜索是否能拿到集群1上的数据呢？ 使用API GET remote_cluster:twitter/_search image.png 结论： 从上面我们可以看出来，我们可以对位于 cluster1 的 twitter 索引进行搜索 四，总结 通过跨级群配置，我们实现了多个ES集群之间的数据的探索、管理。大大的解决了单集群水平扩展能力不足的问题。那么这就是ES CCS。
4.4K70发布于 2020-05-24 - 来自专栏南非骆驼说大数据
跨集群搜索 Cross-cluster Search（CCS)
一、前言| 我们知道ES非常容易做横向水平扩展，但是集群不可能说无限扩展： 因为当集群的meta信息（节点、索引、集群状态）过多，会导致更新压力变大，单个Active Master会成为性能瓶颈。 导致整个集群无法正常工作。 所以，如果ES集群能支持跨集群搜索的话，就可以更好的实现集群的横向扩展。于是CCS就是这么应运而生。 从ES5.3版本以后，ES引进了一个CCS的功能。 二、CCS的使用 1，CCS的前提条件 必须有至少1个的远程集群的配置 ,这里还是以上节的CCR的2个集群配置作为本节试验基础条件 配置remote_cluster API：参考：https://www.elastic.co 然后在本地集群搜索测试一下，如下命令： image.png image.png 发现是可以使用的。 当然，如果您远程集群多，可以配置更多。这样，我们就可以在本地集群搜索更多的来自其它地方的集群的索引了。
1.7K60发布于 2020-10-26 跨集群搜索在安全应用中的配置指南
配置跨集群搜索（CCS）使安全应用支持CCS仅需少量调整。 完成后，安全应用的“概览”“主机”“网络”页面将展示来自所有远程集群的事件。 调整内置检测规则新建自定义检测规则时可直接选择CCS索引模式。 注意：若远程集群版本低于7.14，需禁用依赖EQL（Elastic查询语言）的规则。 机器学习任务适配自定义机器学习任务可直接选择CCS索引模式。 总结本文演示了安全应用与机器学习任务如何适配CCS，实现多集群数据的集中分析。未来将分享更多某机构信息安全团队的技术实践。
18310编辑于 2025-08-14- 来自专栏Elastic Stack专栏
深度解析Elasticsearch跨集群搜索（CCS）：兼论与CCR及可搜索快照的区别
Elasticsearch的跨集群搜索（Cross-Cluster Search, CCS）功能正是为此而生。它提供了一种轻量级、高效的方式来查询多个集群，仿佛它们是一个巨大的虚拟集群。 本文将深入探讨CCS的核心工作原理，分析其配置中的关键角色，并将其与跨集群复制（CCR）、可搜索快照（Searchable Snapshots）进行详细对比，帮助你为不同的业务场景做出最合适的架构选择。 特性跨集群搜索 (CCS)跨集群复制 (CCR)可搜索快照 (Searchable Snapshots)核心目的对多个独立的实时集群进行统一查询将数据从一个集群复制到另一个，用于容灾或读写分离在低成本对象存储上对历史数据进行查询数据位置数据保留在各自的远程集群中 结论Elasticsearch的跨集群搜索（CCS）是一个强大而优雅的工具，它通过轻量级的命令下推机制，实现了对多个独立集群的无缝联邦查询。 在面对灾难恢复、读写分离或海量历史数据归档等场景时，跨集群复制（CCR）和可搜索快照（Searchable Snapshots）可能是更合适的选择。
39621编辑于 2025-09-02 - 来自专栏运维专栏
Prometheus跨集群采集
背景恩不想搭建太多prometheus了，想用一个prometheus,当然了 前提是我A集群可以连通B集群网络，实现Prometheus跨集群采集采集关于A集群A集群 以及prometheus搭建 参照 ：Kubernetes 1.20.5 安装Prometheus-OpratorB集群B集群操作参照：阳明大佬 Prometheus 监控外部 Kubernetes 集群创建RBAC对象：cat rbac.yamlapiVersion https://itnext.io/big-change-in-k8s-1-24-about-serviceaccounts-and-their-secrets-4b909a4af4e0)prometheus集群中重新生成 注：B集群apiserver 地址为10.0.2.28:6443，自己整要修改！ 总结一下：现实环境中我应该不会那么玩，还是跟原来一样，每个k8s集群搞一个prometheus-oprator集群，然后可以连接一个grafana......其实那么的搞了一圈玩一下就发现了K8s1.24
88341编辑于 2022-09-08 - 来自专栏铭毅天下
Elasticsearch 跨网络、跨集群同步选型指南
涉及到跨版本、跨网络、跨集群的索引数据的迁移或同步。我们拆解一下： 2.1 跨版本 7.X 是当前的主流版本，早期的业务系统会停留在6.X、5.X 甚至 2.X、1.X 版本。 https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html 2.2 跨网络 两个集群不在一个局域网内，一个挂在云端 2.3 跨集群 源数据和目的数据分布在两个不同的集群。 3、同步方案对比 如下几个同步方案，我们边实战边解读。 ? 3.0 实战环境准备 为了演示方便，我们把环境简化。复杂环境，原理一致。 9UCROh3", "age" : 16, "last_updated" : 1621579460000 } 3.1 方案一：reindex 跨集群同步 4、小结 本文针对 Elasticsearch 跨网络、跨集群之间的数据同步（模拟），给出了5 种方案，并分别在实战环境进行了验证。 ? 初步验证结论如下： ? 当然，结论并非绝对，仅供参考。
4.5K10发布于 2021-06-25 - 来自专栏Reinvent Data Science
Milvus跨集群数据迁移
容器，修改 configs/backup.yaml 配置 备份集群数据到本地存储中 将数据拷贝到新集群中进行恢复 01. 注意一下，由于需要在两个集群间迁移，因此创建工作负载的时候挂载一个共享存储（/backup），方便迁移 MinIO 备份后的数据。 03. 备份当前集群数据到本地存储中 使用 milvus-backup 工具备份数据，这里可以直接参考 ./milvus-backup -h，milvus 系列的文档还是非常棒的。 恢复数据到新的集群中 进入新的集群（B）执行步骤 2和步骤 3，在步骤 3 中将 backup.yaml 中的配置修改成集群 B 的链接信息。 然后将共享目录中备份好的文件拷贝到新集群的 MinIO 中，使用 milvus-backup 恢复即可！
1.1K10编辑于 2024-06-14 - 来自专栏房东的猫
Elasticsearch跨集群数据迁移
ES官方在6.5版本之后的CCR（跨集群复制）功能，把旧集群作为Leader, 新集群作为Follower, 旧集群不停止读写，新集群从旧集群中follow新写入的数据；另一方面使用第三方工具把存量的旧集群中的数据迁移到新集群中 } } snapshot 适用场景 适用数据量大的场景 使用方式 snapshot api是Elasticsearch用于对数据进行备份和恢复的一组api接口，可以通过snapshot api进行跨集群的数据迁移 数据基本都是时序数据，只会追加，没有更新、删除数据的操作 add & update, 数据有追加也有更新，但是没有删除数据的操作 add & update & delete, 数据有追加，也有更新和删除，搜索场景比较常见 image.png 使用中间件进行同步双写的优点是： 写入过程中丢失数据风险较低 可以保证新旧集群的数据一致性 总结 elasticsearch-dump和logstash做跨集群数据迁移时，都要求用于执行迁移任务的机器可以同时访问到两个集群 因此elasticsearch-dump和logstash迁移方式更适合于源ES集群和目标ES集群处于同一网络的情况下进行迁移，而需要跨云厂商的迁移，比如从阿里云ES集群迁移至腾讯云ES集群，可以选择使用
2K32发布于 2021-01-20 - 来自专栏Haytham的原创技术文章
Docker Swarms 跨主机集群搭建
解决的问题 想要在多台物理实体机或虚拟机，而不是一台机器上构建集群。 感谢以下博客在问题解决中提供的帮助 JerryWangSAP --- 错误消息 This computer doesn't have VT-X/AMD-v enabled 向上的路 --- docker跨主机通信方式四 docker-machine 背景 为什么我会想到要在多台物理实体主机或虚拟机来搭建集群呢？ 解决这个问题的方法有很多，双系统、使用Mac等都可行，但受限于某些客观原因，并且想要尝试跨主机构建集群，因此采用了以下解决方案：在VirtualBox虚拟出3套ubuntu系统：A、B、C。 通过连通A、B、C来达到与教程在该处相同的效果，同时也是实现了跨主机集群的搭建。 具体步骤 在主机A中预先装好docker(参见官网教程), B、C虚拟机只需要安装ssh服务器即可。
1.5K00发布于 2019-08-26 - 来自专栏开源部署
RabbitMQ集群跨网段消息迁移
需求背景 将阿里云同一个VPC下的RabbitMQ集群的消息从一个网段集群迁移到另一个网段集群。消息中间件的消息是即时消费，为何还有历史消息，因为是历史遗留问题。 故要迁移 整个网络拓扑图如下 注意： 若对于跨VPC网络 1. 确保各主机网络互通 2. 将集群B中的机器依次一台一台加入集群A中，并确认所有队列镜像完成 3. 剔除集群A中的一台一台机器 4. 将应用指向集群B 方案1【不可行】 将集群B中的一台机器加入集群A中，然后再集群B中的另一他机器已加入集群，然后剔除集群A中的一台机器，然后再剔除集群A中的另一台机器 此方案对于RabbitMQ的普通集群也即是 方案2【可行】 若RabbitMQ采用镜像队列，将集群A中的消息数据迁移到集群B中， 集群A中的node171、node172采用镜像队列 构建集群A的镜像队列环境 1.首先集群A中的node172加入集群中
1.8K10编辑于 2022-07-27 - 来自专栏大数据技术博文
Kylin云端跨集群迁移实践
02 — 迁移前准备 在目标集群中创建好hadoop大数据环境(hive/hbase/hadoop) 在目前集群中安装部署好kylin环境,确保kylin可以正常启动并build cube任务 双方网络互通 ,大数据拉取数据端口开放,可以正常拉取到源集群中的hdfs文件 目前集群的kylin版本与源集群版本保持一致 确保在目标集群中hive表已经构建且数据已经迁移完成 提前准备好数据迁移的脚本,hdfs数据迁移 Kylin元数据迁移的方案制定 一、方案一 通过元数据备份/还原的方式实现两个集群的元数据同步 二、方案二 通过kylin自己的工具将cube导出然后在另外集群导入方式进行元数据同步 三、方案三 将kylin 元数据已经完成迁移并恢复到目标集群中,通过kylin web ui可以查看是否源集群中的project/model/cube已经加载进来,如果没有加载,需要在kylin web 中 system->reload 问题六: 在使用hdfs倒过来的目录和文件的用户权限依旧是源集群中的用户权限.会导致kylin 在step1的时候build异常 解决方法: 在源集群中迁移过来的目录和文件,需要在目标集群中修改用户以及用户的权限
1.2K30编辑于 2022-04-18 - 来自专栏Hadoop实操
CDH集群跨多版本滚动升级
，开发环境的CDH集群版本为5.10.0过低，需要将开发环境的CDH集群滚动升级至5.12.1版本，与生产环境版本一致。 Fayson在前面的文章也有介绍《如何升级Cloudera Manager和CDH版本》，本篇文章Fayson主要介绍跨多个版本滚动升级。 3.集群已开启NameNode高可用 4.集群已开启Resource Manager高可用 升级前CM和CDH集群版本为 ? 6.集群功能验证 ---- 1.进入Cloudera Manager控制台主页，查看集群是否正常 ? 6.集群功能验证 ---- Cloudera Manager升级不会影响CDH集群的正常使用，在升级的过程中作业依然可以正常运行。
1.5K20发布于 2018-07-11 - 来自专栏CNCF
基于隧道的Kubernetes跨集群通讯
这就会导致有些应用依赖于其它k8s集群的微服务，需要从一个集群里的pod访问另外一个集群里的pod或者service。 为了解决跨集群服务调用的问题，我们试验了一种基于隧道的方案，下面就让我们一起来体验一下吧。 作者：鲍盈海， 中国移动云能力中心软件开发工程师，专注于云原生领域。 但是目前这种方案还不适合在生产环境中使用，因为一般情况下跨集群之间因为安全、性能、成本等因素多个服务会复用一条隧道，而上面的方案中，一个服务独占了一条隧道，如果有多个demo-service服务则需要创建多个隧道 隧道实现了跨集群的访问，目前只是在demo的程度，要在正式环境中使用的话，还需要考虑整个通信的稳定可靠的问题，例如给隧道增加心跳，多条隧道做负载均衡等。 实际在业界还有例如Submariner（https://submariner.io/）等开源项目能轻松提供跨集群的安全应用访问，大家可以进一步学习了解。
2.3K31编辑于 2023-02-12 - 来自专栏上云那些事
Kafka MirrorMaker 跨集群同步工具详解
一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。 3）老版本和新版本迁移主要考虑consumer和producer的兼容性 4）如果允许的话，建议将MirrorMaker部署在目标集群内，这是因为如果一旦发生网络分区，消费者与源集群断开连接比生产者与目标集群断开连接要安全 如果消费者断开连接，那么只是当前读取不到数据，但是数据仍然在源集群内，并不会丢失；而生产者断开连接，MirrorMaker便生产不了数据，如果MirrorMaker本身处理不当，可能会丢失数据。 5）开始之前配置好限流，防止影响原来集群的正常工作。 三、进度监控 1） 检测MirrorMaker提交到源集群的位移。
15K01发布于 2018-10-25 - 来自专栏铭毅天下
Elasticsearch 主从同步之跨集群复制
1、什么是跨集群复制？ 对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。 2、跨集群复制最早发布版本 Elasticsearch 6.7 版本。 3、跨集群复制的好处？ 4、跨集群复制的核心概念 图片来源：opster.com 跨集群复制使用主动-被动模型（active-passive model）。 6.1.2 前置条件2：备好至少 2 个集群 跨集群复制，核心是“跨”和“复制”。 “跨”体现在至少得两个集群，否则没有意义。 6.2.2 步骤2：配置权限 为跨集群复制配置权限。 跨集群复制用户在远程集群和本地集群上需要不同的集群和索引权限。 使用以下请求在本地和远程集群上创建单独的角色，然后创建具有所需角色的用户。
3.2K20发布于 2021-12-01 - 来自专栏大数据应用技术
Hive跨集群数据迁移过程
环境 Hive集群A Hive集群B 跳转机一台 数据迁移需求 本次迁移数据100G，15亿条，数据流转方向从集群A经过跳转机到集群B，通过HDFS拉取和重新建表导入的方式完成数据库迁移。 迁移过程记录 - 当前操作在集群A 通过执行desc formatted，查看并记录数据库的：①存储位置，②文件存储压缩格式，③表字段； 对迁移的数据库执行count(*)操作，记录数据量，整体把握，最后做校验 ，通过hdfs hds -du -h命令检查原始表数据在HDFS中的存储大小，确认是否能拉取到跳转机； 执行df -h检查跳转机可用存储空间，执行hdfs dfs -get命令，将存储的数据库源文件从集群 查看源文件首行是否包含表字段，如果包含表字段，需要在建表时添加TBLPROPERTIES ('skip.header.line.count'='1'); 执行hdfs dfs -put命令，将数据库源文件上传至集群 B的HDFS，并执行hdfs hds -du -h检查存储大小是否一致，请提前mkdir准备好存储目录； - 当前操作在集群B 根据1.③编辑建表语句并执行，根据压缩存储格式的不同，MapReduce在执行时的输入输出结果也不同
52310编辑于 2024-07-25 - 来自专栏Se7en的架构笔记
Elasticsearch 跨集群数据迁移方案总结
从源集群通过Snapshot API 创建数据快照，然后在目标集群中进行恢复 从一个集群中读取数据然后写入到另一个集群 网络要求 集群间互导需要网络互通，先导出文件再通过文件导入集群则不需要网络互通 前面将 Elasticsearch 集群中的数据导出文件，然后再通过文件将数据导入新的 Elasticsearch 集群的做法适合两个集群间网络不通的情况。 如果两个集群的网络相通，可以通过下面更简便的方式直接在两个集群间互导数据: 先导出mapping到新集群 docker run --rm -ti elasticdump/elasticsearch-dump pMrJwVGSQcSgeTZdh61QRw:1413 Snapshot Snapshot API 是 Elasticsearch 用于对数据进行备份和恢复的一组 API 接口，可以通过 Snapshot API 进行跨集群的数据迁移 ，原理就是从源 Elasticsearch 集群创建数据快照，然后在目标 Elasticsearch 集群中进行恢复。
5.2K21发布于 2021-05-18 - 来自专栏小工匠聊架构
Apache Kafka - 跨集群数据镜像 MirrorMaker
Apache Kafka是一个流处理平台，它提供了一种跨集群数据镜像的解决方案，可以让用户轻松地将数据从一个Kafka集群复制到另一个Kafka集群。 Kafka跨集群数据镜像的实现方式是通过Kafka Connect来完成的。 在使用MirrorMaker连接器进行跨集群数据镜像时，需要注意以下几点： 确定源集群和目标集群：在进行数据镜像之前，需要确定源集群和目标集群。 ---- 跨集群数据镜像的原理 Kafka跨集群数据镜像的原理是通过Kafka Connect来实现。 配置 Kafka跨集群数据镜像的配置非常简单。我们只需要在MirrorMaker连接器的配置文件中指定源集群和目标集群的地址即可。
1.7K30编辑于 2023-06-04 - 来自专栏腾讯云大数据
Elasticsearch 跨集群复制(CCR)之腾讯云 ES 跨地域容灾
腾讯云 ES 目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。 随着腾讯云 ES 双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云 ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： ? 上海测试集群 北京集群 es-ki42hwk9： ? 说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。 备注说明：由于是跨地域打通了网络，如果出现下面的 Not connected 状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。 ?
2.9K20发布于 2020-10-28 - 来自专栏腾讯云Elasticsearch Service
Elasticsearch跨集群复制(CCR)之腾讯云ES跨地域容灾
集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ---- 腾讯云ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。 但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。 上海集群 es-a785wmve： 北京集群 es-ki42hwk9： 我们将北京的es集群作为Leader Cluster，把上海的es集群作为Follower Cluster。 说明我们已经完成了跨地域跨集群的复制了。 至此，我们完成了跨地域复制的数据同步。 备注说明：由于是跨地域打通了网络，如果出现下面的Not connected状态，可能会出现网络不稳定的情况，会导致数据的复制有一定的延迟。
4.3K30发布于 2021-01-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号