- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
2、cos间数据复制 开始cos数据的同步复制迁移：将刚刚备份到北京cos桶下面的索引数据通过cos控制台提供的对象存储迁移功能，全量迁移到上海的桶中。这里我们选择根目录下的全量复制。 三、目的地域snapshot恢复 在上一步，我们完成了北京cos的索引快照数据复制到上海的cos bucket中。下面我们就将这些数据在上海的es集群中恢复过来。 同样，创建完成仓库后，可以使用下面命令查看： GET _snapshot/my_cos_backup 2、目的端集群恢复snapshot 在恢复之前，我们可以先使用下面的命令查看该仓库下有哪些快照： GET 恢复结束后，再对原集群停写，再次打一个快照snapshot_2,此时是一个增量的快照，然后再在目标集群中使用快照snapshot_2再一次恢复索引wrong_bj_index，因此在增量恢复前，需要先将第一次恢复过的索引 发现数据确实已经恢复过来了。到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。
3.3K92编辑于 2022-03-11 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
二、COS跨地域数据复制 上一步我们完成了源地域集群快照数据的备份，即将北京es集群中的索引快照数据都备份到了北京cos的bucket中。由于无法直接在目的端集群中进行恢复。 2、cos间数据复制 开始cos数据的同步复制迁移：将刚刚备份到北京cos桶下面的索引数据通过cos控制台提供的对象存储迁移功能，全量迁移到上海的桶中。这里我们选择根目录下的全量复制。 同样，创建完成仓库后，可以使用下面命令查看： GET _snapshot/my_cos_backup 2、目的端集群恢复snapshot 在恢复之前，我们可以先使用下面的命令查看该仓库下有哪些快照： GET 发现数据确实已经恢复过来了。到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。 总结： 本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间数据备份与恢复，即通过snapshot方式的数据迁移。
1.7K20发布于 2021-01-08 - 来自专栏用户5909132的专栏
通过COS快照从自建ES迁移至腾讯云最佳实践
一 场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 创建COS用于备份恢复的bucket 创建bucket地址： https://console.cloud.tencent.com/cos5/bucket 注意：创建与自建ES集群在同一个region的标准存储类型 region：COS Bucket 地域，建议与 ES 集群同地域。 base_path：备份目录，形式如dir1/dir2/dir3，不需要写最开头的’/‘。 在目标ES集群执行快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。 在目标ES集群查看恢复效果 1) 通过执行_recovery命令，可以查看快照china恢复的状态，监控快照恢复的进度。
2.2K20发布于 2020-06-29 - 来自专栏用户5909132的专栏
ES日志存储以及备份压缩到COS
ES集群规格配置高，消耗资源和成本。我们基于Go语言设计了一个多用户多ES集群，日志备份到cos节省成本的方案。本篇实践基于Go语言编程。 索引设计 为了防止单个索引不断增加。 影响ES集群查询写入性能，ES 集群的索引设计主要采取如下方式： 1. 租户分离：将索引按照租户进行分离，避免不同租户之间的数据混淆，提高 ES 集群的数据安全性和隔离性。 2. ES数据备份到COS 创建备份流程 在 ES 备份流程中，为了保证备份的正确性和完整性，可以按照如下步骤执行： 创建一个仓库来存储备份数据。 创建一个快照任务，将ES中的数据备份到指定的仓库中。 通过备份和压缩到 COS 可以将 ES 存储的数据缩小到 1/4 的大小，并且通过 COS 的海量分布式存储服务，可以提供低成本、弹性的云存储服务。 数据恢复到ES 创建恢复流程 恢复流程是备份流程的逆向流程，主要包括如下步骤： 创建COS解压缩函数 创建恢复任务 查询恢复任务是否完成 完成恢复 1.
94840编辑于 2023-04-18 - 来自专栏腾讯云迁云技术团队专栏
【玩转腾讯云】通过COS快照从自建ES迁移至腾讯云最佳实践
1、场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 2.3、创建COS用于备份恢复的bucket 注意：创建与自建ES集群在同一个region的标准存储类型COS。 Ø region：COS Bucket 地域，建议与 ES 集群同地域。 Ø base_path：备份目录，形式如dir1/dir2/dir3，不需要写最开头的’/‘。 2.8、在目标ES集群执行从快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。 POST _snapshot/my_cos_backup/snapshot_1/_restore 2.9、在目标ES集群查看恢复效果 1) 通过执行_recovery命令，可以查看快照china恢复的状态
3.5K145发布于 2020-04-08 - 来自专栏阿dai_linux
es数据备份和恢复 原
可以通过在创建快照的请求体中定义索引列表来改变这个默认处理： curl -X PUT "node1:9200/_snapshot/es_backup/test_snapshot_2? curl -X PUT "node1:9200/_snapshot/es_backup/%3Csnapshot-%7Bnow%2Fd%7D%3E" 创建快照： curl -X PUT "node1:9200 _snapshot/es_backup/test_snapshot_2" 当一个快照从仓库中删除，ElasticSearch 将删除该快照关联的但不被其他快照使用的所有文件。 删除仓库 可以使用下面命令注销仓库： curl -X DELETE "node1:9200/_snapshot/es_backup" 数据恢复 全量恢复 快照可以通过执行以下命令恢复 curl -X POST "node1:9200/_snapshot/es_backup/syslog/_restore" 默认情况下，快照中的所有索引将被恢复，集群状态不被恢复。
4.2K20发布于 2019-04-03 - 来自专栏南非骆驼说大数据
腾讯云ES与COS之间的那点事儿
前言| 关于ES与COS之间的使用场景主要体现在数据迁移、数据恢复备份这几个方面。其原理就是通过COS将源ES数据中间存储，然后再将存储的数据进行目标ES集群异步恢复的过程。 <多节点>如何通过snapshot+fs+cos的方式实现数据到腾讯云ES的迁移恢复 2，用户自建ES集群<多节点>如何通过snapshot+cos的方式实现数据到腾讯云ES的迁移恢复 3, 用户如何将不同地域的 cos桶之间的数据做迁移恢复 4，腾讯云ES数据到cos、cos到自建ES之间的数据备份、恢复 一、用户自建ES集群<多节点>通过snapshot+fs+cos的方式实现数据到腾讯云ES的迁移恢复 这里提一下为什么不用单节点来演示呢 具体报错如下所示： image.png 结论： 那么至此，数据已经从自建ES集群---------》COS ----------》腾讯云ES，数据正常操作流转成功。 三、 用户如何将不同地域的cos桶之间的数据做迁移恢复 案例分析： 有个客户，因为广州的ES2集群的数据存在广州区的bucket桶里，现在需要将数据迁移到位于上海区域的ES集群里，怎么操作呢？
3.4K159发布于 2020-05-23 - 来自专栏伟哥专栏
通过COS多版本功能快速批量恢复数据
这里介绍一下，当真的手残点击了当前桶和备份桶的删除动作后，我们继续多版本的高可用架构如何可以快速的恢复我们想要的数据。 这里介绍一下快速恢复的方案。 [gpm2jypxop.png] 场景 第一条为删除标记，第二条为最新版本数据，第三条为次新版本数据。 第一条为最新版本数据。 第一条为最新版本数据，第二条为次新版本是数据。 cred = new BasicCOSCredentials("AKIDxxxxxxxxxxxxxxxxxxx", "xxxxxxxxxxxxxxxxxxxxxxxxx"); // 2 2.当islastest为true时，说明这是一个最新版本的数据对象。则进行复制操作。 3.当既不是deletemarker标签，也不是islastest最新版时。 以上就是通过多版本的方式，批量快速的恢复被删除数据的方法。 注：本方法目前只适合同账号恢复。不占用本地带宽资源，快速便捷。
1.7K62编辑于 2022-05-28 - 来自专栏腾讯云存储专家服务
通过COS多版本功能快速批量恢复数据
COS对象存储有11个9的数据保障级别，但是不保障主动删除的数据，如果真是手欠清空了存储桶。那么真的是无法挽回了。所以数据备份的事情，一定要防患于未然，提前做好高可用架构。 COS产品官网上有详细的高可用架构说明文档https://cloud.tencent.com/document/product/436/37709以上的理论内容，咱们就不详细说了。 这里介绍一下，当真的手残点击了当前桶和备份桶的删除动作后，我们继续多版本的高可用架构如何可以快速的恢复我们想要的数据。这里介绍一下快速恢复的方案。 2.当islastest为true时，说明这是一个最新版本的数据对象。则进行复制操作。3.当既不是deletemarker标签，也不是islastest最新版时。 ，执行结果如下脚本执行结果完成后在目标桶查看目标桶恢复的对象列表验证成功。
1.1K31编辑于 2023-05-11 - 来自专栏用户2141488的专栏
COS 批量恢复“归档存储”对象并转换为“标准存储”
背景 在cos的实际使用过程中，有一种场景：某些对象基本上不会使用，但是又要长期保存这些数据，这种数据被称为“冷数据”，这个时候就会用到cos的“归档存储”或“深度归档存储”，“归档存储”在存储费用上相对 “标准存储”有较大的优势，详情参考 产品定价； 但是突然有一天这些数据恢复使用，要能永久访问，这时需要将为“归档存储”的对象恢复，单个的对象恢复控制台操作即可，参考：恢复归档对象 但是如果是有几十万个归档的对象需要恢复 ，控制台手动操作肯定不现实，这时候结合cos的 清单功能 和 批量处理 两个功能实现“批量恢复归档对象”; 批量恢复“归档存储”对象 生成清单 如何 开通/添加清单 以及 清单的功能概述，这里不做过多介绍 第一步“地域及清单配置” 创建任务界面第一步“地域及清单配置”这里，其它项默认即可(您也可以按照自己的业务需要配置)，“清单文件路径” 这里，要选择生成的清单，如上截图，我的 “清单报告前缀” 是 “cos_bucket_inventory 2f1.jpg） 2、csv文件不能用excel编辑，要用文本编辑器；（文本编辑器格式："dg-1259220718","meinv%2f001%2f1.jpg"） 数量少的文件可以在控制台手动操作
3.7K10发布于 2020-12-13 - 来自专栏腾讯云 CDN 专家服务
cdn+cos，1+1>2!
结合使用，会出现1+1>2的效果。 为什么要结合？ 所以从流量的费用上来计算，最理想的状态（cdn缓存住所有数据，cos数据不进行更新），每GB可以节省0.29元。 当然，这只是极特殊情况；那么看下最坏的情况，cdn侧数据完全不缓存，通过cdn分发cos侧数据流量费用为：0.21（cdn访问流量）+0.15（cdn回源cos流量）=0.36元/GB，每GB也要节省0.14 2、访问控制上： cos侧： 基本没有访问限制配置（目前只有防盗链，访问权限，1200QPS）对于个人小站或者访问量较低的人来使用，基本很难对恶意用户的访问管控。 2、默认加速域名配置格式（自定义加速域名雷同）： ?
2.1K150发布于 2020-10-28 - 来自专栏腾讯云存储
COS防误删和误删恢复攻略请查收
长期以来，腾讯云对象存储服务（COS）一直致力于数据安全的探索和实践，以保障数据的安全性和完整性。对象存储COS准备了一份“防误删”和“误删恢复”攻略给大家，本文将深入介绍这两部分。 进入策略页面，选择预设策略，搜索筛选COS，单击关联用户组/角色。 c. 在弹出页面勾选要关联的用户，单击确定即可完成通过策略关联用户操作。 2. 2 数据的可恢复性 基于多版本的版本控制、存储桶复制在第一章节已经进行介绍，这里就不再赘述，以下为数据误删恢复的操作指南。 2. 复制以下代码。 从防误删到误删恢复，我们致力于将数据丢失的风险降到最低，确保企业能够在安全可靠的环境中蓬勃发展。
93110编辑于 2024-06-03 - 来自专栏ES自助排障
ES集群恢复并发达到上限
via [cluster.routing.allocation.node_concurrent_recoveries])"}]如果 decider 中返回 "throttling" 时，通常表示该节点恢复并发达到上限 ，如果集群资源利用率比较低的话，可以适当调大恢复并发参数，加速分片分配。 : 2，分片balance的数量cluster.routing.allocation.node_concurrent_recoveries : 2，控制节点同时进行恢复和分配操作的数量cluster.routing.allocation.node_concurrent_incoming_recoveries : 2，控制节点并发进行恢复操作的数量cluster.routing.allocation.node_concurrent_outgoing_recoveries : 2，控制节点并发进行分配操作的数量 其余并发恢复或分配数量一般建议调整为小于或等于单节点cpu核数。Persistent设置：这些设置是持久的，一旦设置后将一直保持有效，即使集群重启也会保留。
1.2K20编辑于 2023-07-17 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES数据备份恢复使用教程（视频）
在腾讯云Elasticsearch集群上通过COS进行索引数据的备份与恢复，教程包含： 1. 如何创建COSbucket 2. 创建备份仓库 3. 进行快照备份及恢复 详细文档可参考https://cloud.tencent.com/document/product/845/19549 视频内容
4.4K51发布于 2020-10-14 - 来自专栏腾讯云大数据与AI专家服务
使用cos备份迁移es数据，新集群restore报错snapshot_restore_exception
四、目标集群恢复快照POST _snapshot/my_cos_backup/snapshot_1/_restore# 如果只想恢复部分index，也可以POST _snapshot/my_cos_backup v# 获取快照详情GET _snapshot/my_cos_backup/snapshot_1# 获取snapshot开头的快照，且按照name排序并只返回第一个GET /_snapshot/my_cos_backup size=2&sort=name&offset=2# 前缀匹配并T除不需要的snapshot，使用 "-" 来排除GET /_snapshot/my_cos_backup/snapshot*,-snapshot GET _snapshot/_statusGET _snapshot/<repository>/_statusGET _snapshot/<repository>/<snapshot>/_status# 恢复快照 wait_for_completion=true{ "indices": "index_1,index_2", "ignore_index_settings":[ "index.codec",
96010编辑于 2023-03-31 - 来自专栏xiaoheike
elasticsearch(es) 集群恢复触发配置（Local Gateway参数）
elasticsearch(es) 集群恢复触发配置（Local Gateway） 当你集群重启时，几个配置项影响你的分片恢复的表现。 首先，我们需要明白如果什么也没配置将会发生什么。 然后整个集群重新进行平衡，因为集群的大小已经从 5 变成了 10。 在整个过程中，你的节点会消耗磁盘和网络带宽，来回移动数据，因为没有更好的办法。 一旦预期数量的节点已加入集群，就会启动本地分片的恢复。默认为0 gateway.recover_after_time 如果未达到预期的节点数，则恢复过程将等待配置的时间量，然后再尝试恢复。 只要此许多数据或主节点已加入集群，即可恢复。 那么如果5分钟之内一共有5个node恢复正常使用，那么会立即进行集群的数据恢复，要不然就是过了5分钟node数量打不到5个，也会触发数据恢复。 欢迎转载，但请注明本文链接，谢谢你。
3.2K20发布于 2018-09-13 - 来自专栏大数据生态
Elasticsearch 数据离线迁移方案（含冷热分层场景）
，再在腾讯云es集群上从远程仓库中通过快照恢复的方式来实现跨集群的离线数据迁移。 其中COS插件的github地址：https://github.com/tencentyun/elasticsearch-repository-cos 从客户自建 ES 集群中迁移到腾讯云 ES，我们可以直接使用 云 ES 集群上执行恢复命令 从 COS 仓库中恢复快照： 1）elasticsearch版本 >= 7.10 指定热节点恢复： POST _snapshot/my_cos_backup/snapshot 中刚备份的快照数据恢复到云上的ES集群中，执行这一步的前提是需要先在云上的 ES 集群中创建仓库，地址和源端集群上一致。 _snapshot/my_cos_backup/snapshot_2 就是基于第一次全量的增量备份。
4.7K227编辑于 2023-06-25 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之五】通过snapshot迁移ES数据
6）兼容列表如下：在1.x中创建的索引快照可以恢复到2.x。在2.x中创建的索引快照可以恢复到5.x。 在5.x中创建的索引快照可以恢复到6.x。在6.x中创建的索引快照可以恢复到7.x。 1.3、腾讯云ES备份到COS使用方式 snapshot api 是 Elasticsearch用于对数据进行备份和恢复的一组 api 接口，可以通过 snapshot api 进行跨集群的数据迁移，原理就是从源 从自建 ES 集群迁移至腾讯云 ES 集群，可直接使用 fs 类型仓库，但需要在 ES 配置文件 elasticsearch.yml 中设置仓库路径。 curl -XPUT http://172.16.0.39:9200/_snapshot/my_cos_backup/snapshot_2 { "indices": "index_1,index_2" } 3) 目标 ES 集群中创建 repository 目标 ES 集群中创建仓库和在源 ES 集群中创建仓库类似，用户可在腾讯云上创建 COS 对象 bucket，把仓库建在 COS 的某个 bucket
9.7K52发布于 2020-04-09 - 来自专栏云原生生态圈
3种 Elasticsearch 数据离线迁移方案，你知道吗？
快照 基于 COS 快照的迁移方式是使用 ES 的 snapshot api 接口进行迁移，基本原理就是从源 ES 集群创建索引快照，然后在目标 ES 集群中进行恢复。 但需要先在自建 ES 集群上安装 cos-repository 插件（安装插件后需要重启集群才能使用），先把自建 ES 集群中的数据先备份到 COS，然后在腾讯云上的 ES 集群中恢复出来，以完成数据的迁移 备份指定索引 您可以在创建快照的时候指定要备份的索引： PUT _snapshot/my_cos_backup/snapshot_2 { "indices": "index_1,index_2" 从快照恢复 将快照中备份的所有索引都恢复到 ES 集群中： POST _snapshot/my_cos_backup/snapshot_1/_restore 如果 snapshot_1 包括5个索引， 为 green，则说明索引已经完全恢复： GET _cluster/health/index_1 2logstash logstash 支持从一个 ES 集群中读取数据然后写入到另一个 ES 集群，
4.9K30编辑于 2022-02-16 - 来自专栏腾讯云Elasticsearch Service
自建ES集群迁移至腾讯云ES的几种方案介绍
2、snapshot snapshot api是ES提供的一组用于索引数据快速备份及恢复的api 接口，详细介绍可查看官方文档，利用该组api接口，我们可以通过将源es集群的数据备份到远程仓库，再在腾讯云 es集群上从远程仓库中通过快照恢复的方式来实现跨集群的离线数据迁移。 其中COS插件的github地址：https://github.com/tencentyun/elasticsearch-repository-cos 从客户自建ES集群中迁移到腾讯云ES，我们可以直接使用 云ES集群上执行恢复命令，从COS仓库中恢复快照： POST _snapshot/my_cos_backup/snapshot_1/_restore 上面这一步就是将COS中刚备份的快照数据恢复到云上的 参考文档 1、ES官方文档 2、记一次在线跨集群迁移ES数据 3、Elasticsearch跨集群数据迁移之离线迁移 4、使用 COS 进行备份及恢复 问答 Q、客户自建集群在使用snapshot的方式迁移到腾讯云
4.6K74发布于 2020-07-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号