- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
3、源地域备份snapshot 在上一步我们创建了my_cos_backup的repository，下面我们就开始将snapshot备份到该repository中。 二、COS跨地域数据复制 上一步我们完成了源地域集群快照数据的备份，即将北京es集群中的索引快照数据都备份到了北京cos的bucket中。由于无法直接在目的端集群中进行恢复。 三、目的地域snapshot恢复 在上一步，我们完成了北京cos的索引快照数据复制到上海的cos bucket中。下面我们就将这些数据在上海的es集群中恢复过来。 发现数据确实已经恢复过来了。到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。 总结： 本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间数据备份与恢复，即通过snapshot方式的数据迁移。
3.3K92编辑于 2022-03-11 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
3、源地域备份snapshot 在上一步我们创建了my_cos_backup的repository，下面我们就开始将snapshot备份到该repository中。 二、COS跨地域数据复制 上一步我们完成了源地域集群快照数据的备份，即将北京es集群中的索引快照数据都备份到了北京cos的bucket中。由于无法直接在目的端集群中进行恢复。 索引单独恢复到上海es集群中。 发现数据确实已经恢复过来了。到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。 总结： 本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间数据备份与恢复，即通过snapshot方式的数据迁移。
1.7K20发布于 2021-01-08 - 来自专栏用户5909132的专栏
通过COS快照从自建ES迁移至腾讯云最佳实践
一 场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 创建COS用于备份恢复的bucket 创建bucket地址： https://console.cloud.tencent.com/cos5/bucket 注意：创建与自建ES集群在同一个region的标准存储类型 region：COS Bucket 地域，建议与 ES 集群同地域。 base_path：备份目录，形式如dir1/dir2/dir3，不需要写最开头的’/‘。 在目标ES集群执行快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。 在目标ES集群查看恢复效果 1) 通过执行_recovery命令，可以查看快照china恢复的状态，监控快照恢复的进度。
2.2K20发布于 2020-06-29 - 来自专栏用户5909132的专栏
ES日志存储以及备份压缩到COS
ES集群规格配置高，消耗资源和成本。我们基于Go语言设计了一个多用户多ES集群，日志备份到cos节省成本的方案。本篇实践基于Go语言编程。 索引设计 为了防止单个索引不断增加。 按月分割：将索引按照每个月进行分割，避免单个索引过大，提高 ES 集群的查询性能。 3. ES数据备份到COS 创建备份流程 在 ES 备份流程中，为了保证备份的正确性和完整性，可以按照如下步骤执行： 创建一个仓库来存储备份数据。 创建一个快照任务，将ES中的数据备份到指定的仓库中。 通过备份和压缩到 COS 可以将 ES 存储的数据缩小到 1/4 的大小，并且通过 COS 的海量分布式存储服务，可以提供低成本、弹性的云存储服务。 数据恢复到ES 创建恢复流程 恢复流程是备份流程的逆向流程，主要包括如下步骤： 创建COS解压缩函数 创建恢复任务 查询恢复任务是否完成 完成恢复 1.
94840编辑于 2023-04-18 - 来自专栏腾讯云迁云技术团队专栏
【玩转腾讯云】通过COS快照从自建ES迁移至腾讯云最佳实践
1、场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 2.3、创建COS用于备份恢复的bucket 注意：创建与自建ES集群在同一个region的标准存储类型COS。 Ø region：COS Bucket 地域，建议与 ES 集群同地域。 Ø base_path：备份目录，形式如dir1/dir2/dir3，不需要写最开头的’/‘。 2.8、在目标ES集群执行从快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。 POST _snapshot/my_cos_backup/snapshot_1/_restore 2.9、在目标ES集群查看恢复效果 1) 通过执行_recovery命令，可以查看快照china恢复的状态
3.5K145发布于 2020-04-08 - 来自专栏阿dai_linux
es数据备份和恢复 原
curl -X PUT "node1:9200/_snapshot/es_backup/%3Csnapshot-%7Bnow%2Fd%7D%3E" 创建快照： curl -X PUT "node1:9200 GET "localhost:9200/_snapshot/my_backup/_current" 删除快照 从仓库中删除一个快照，使用如下命令： curl -X DELETE "node1:9200/ _snapshot/es_backup/test_snapshot_2" 当一个快照从仓库中删除，ElasticSearch 将删除该快照关联的但不被其他快照使用的所有文件。 删除仓库 可以使用下面命令注销仓库： curl -X DELETE "node1:9200/_snapshot/es_backup" 数据恢复 全量恢复 快照可以通过执行以下命令恢复 curl -X POST "node1:9200/_snapshot/es_backup/syslog/_restore" 默认情况下，快照中的所有索引将被恢复，集群状态不被恢复。
4.2K20发布于 2019-04-03 - 来自专栏南非骆驼说大数据
腾讯云ES与COS之间的那点事儿
<多节点>如何通过snapshot+fs+cos的方式实现数据到腾讯云ES的迁移恢复 2，用户自建ES集群<多节点>如何通过snapshot+cos的方式实现数据到腾讯云ES的迁移恢复 3, 用户如何将不同地域的 cos桶之间的数据做迁移恢复 4，腾讯云ES数据到cos、cos到自建ES之间的数据备份、恢复 一、用户自建ES集群<多节点>通过snapshot+fs+cos的方式实现数据到腾讯云ES的迁移恢复 这里提一下为什么不用单节点来演示呢 具体报错如下所示： image.png 结论： 那么至此，数据已经从自建ES集群---------》COS ----------》腾讯云ES，数据正常操作流转成功。 1，COS插件的安装 同样，以ES7.2 3个节点为集群 实现数据的COS存储与恢复，步骤如下： 第一步：获取对应ES版本的插件 第二步：授权ES启动账号elastic对该插件文件的所有权限 image.png 常见问题3： COS网络。如果腾讯云ES、COS之间不在同地域，那么两者之间时无法进行通信的。切记。
3.4K159发布于 2020-05-23 - 来自专栏伟哥专栏
通过COS多版本功能快速批量恢复数据
这里介绍一下，当真的手残点击了当前桶和备份桶的删除动作后，我们继续多版本的高可用架构如何可以快速的恢复我们想要的数据。 这里介绍一下快速恢复的方案。 import com.qcloud.cos.COSClient; import com.qcloud.cos.ClientConfig; import com.qcloud.cos.auth.BasicCOSCredentials 3.当既不是deletemarker标签，也不是islastest最新版时。我们会找到第一个数据对象，作为筛选后的最新版实体数据，进行复制。 通过这个逻辑，我们只要找到第一个有实体数据的对象，做复制操作，就可以实现所有最新版的复制功能，实现批量的数据恢复。 以上就是通过多版本的方式，批量快速的恢复被删除数据的方法。 注：本方法目前只适合同账号恢复。不占用本地带宽资源，快速便捷。
1.7K62编辑于 2022-05-28 - 来自专栏腾讯云存储专家服务
通过COS多版本功能快速批量恢复数据
COS对象存储有11个9的数据保障级别，但是不保障主动删除的数据，如果真是手欠清空了存储桶。那么真的是无法挽回了。所以数据备份的事情，一定要防患于未然，提前做好高可用架构。 COS产品官网上有详细的高可用架构说明文档https://cloud.tencent.com/document/product/436/37709以上的理论内容，咱们就不详细说了。 这里介绍一下，当真的手残点击了当前桶和备份桶的删除动作后，我们继续多版本的高可用架构如何可以快速的恢复我们想要的数据。这里介绍一下快速恢复的方案。 3.当既不是deletemarker标签，也不是islastest最新版时。我们会找到第一个数据对象，作为筛选后的最新版实体数据，进行复制。 ，执行结果如下脚本执行结果完成后在目标桶查看目标桶恢复的对象列表验证成功。
1.1K31编辑于 2023-05-11 - 来自专栏前端卡卡西
es3-es10整理
ECMAScript es3（ECMAScript 1999） 1999年，ECMAScript第三个版本 es4（ECMAScript 2007） ECMAScript第四个版本，废弃 es5（ECMAScript 在ES2015中，非对象的参数将被强制转换为一个对象。 尝试删除一个密封对象的属性或者将某个密封对象的属性从数据属性转换成访问器属性，结果会静默失败或抛出TypeError（在严格模式 中最常见的，但不唯一）。 不会影响从原型链上继承的属性。 假设我们要遍历如下对象obj的所有值： const obj = {a: 1, b: 2, c: 3}; 不使用Object.values() :ES6 const obj = {a: 1, b: 2, () :ES8 const obj = {a: 1, b: 2, c: 3}; const values = Object.values(obj); console.log(values);//[1,
1.7K20编辑于 2022-02-25 - 来自专栏用户2141488的专栏
COS 批量恢复“归档存储”对象并转换为“标准存储”
背景 在cos的实际使用过程中，有一种场景：某些对象基本上不会使用，但是又要长期保存这些数据，这种数据被称为“冷数据”，这个时候就会用到cos的“归档存储”或“深度归档存储”，“归档存储”在存储费用上相对 “标准存储”有较大的优势，详情参考 产品定价； 但是突然有一天这些数据恢复使用，要能永久访问，这时需要将为“归档存储”的对象恢复，单个的对象恢复控制台操作即可，参考：恢复归档对象 但是如果是有几十万个归档的对象需要恢复 ，控制台手动操作肯定不现实，这时候结合cos的 清单功能 和 批量处理 两个功能实现“批量恢复归档对象”; 批量恢复“归档存储”对象 生成清单 如何 开通/添加清单 以及 清单的功能概述，这里不做过多介绍 第一步“地域及清单配置” 创建任务界面第一步“地域及清单配置”这里，其它项默认即可(您也可以按照自己的业务需要配置)，“清单文件路径” 这里，要选择生成的清单，如上截图，我的 “清单报告前缀” 是 “cos_bucket_inventory ”； “恢复模式”配置根据自己的需求选择；（标准模式更快，批量模式成本更低，区别介绍详见 恢复归档对象） “副本有效期”配置根据自己的需求选择；（文件恢复后超过副本有效期，文件再次进入“归档存储”模式，
3.7K10发布于 2020-12-13 - 来自专栏对象存储COS
AWS CPP S3访问COS
项目需求 COS是完全兼容AWS S3的，项目中经常遇到客户直接使用AWS S3的相关SDK，来访问COS。 本文基于客户使用AWS SDK CPP的需求，讲述如何来用其S3的SDK访问COS。 验证AWS SDK访问COS 示例代码 下面以简单的GetObject为例，讲述如何初始化 S3Client，如何调用GetObject获取COS里的对象。 > #include <aws/s3/S3Client.h> #include <aws/core/Aws.h> #include <aws/s3/model/GetObjectRequest.h> cfg.scheme = Aws::Http::Scheme::HTTP; cfg.region = "ap-shanghai"; cfg.endpointOverride = "cos.ap-shanghai.myqcloud.com file_name = "localfile"; const Aws::String object_name = "testfile"; cout << "从存储桶
1.4K10编辑于 2021-12-16 - 来自专栏腾讯云存储
COS防误删和误删恢复攻略请查收
长期以来，腾讯云对象存储服务（COS）一直致力于数据安全的探索和实践，以保障数据的安全性和完整性。对象存储COS准备了一份“防误删”和“误删恢复”攻略给大家，本文将深入介绍这两部分。 3 MFA操作保护 3.1 概述 操作保护是一种在用户执行敏感操作时提供的额外安全层，MFA是其中一种保护类型。通过启用MFA，用户在执行敏感操作，如删除数据或更改关键配置时，需要提供额外的验证信息。 二、介绍 COS提供日志管理功能帮助用户实时追踪、记录和分析每一次数据访问，方便对异常事件进行追溯，确保数据的可追溯性；而数据的可恢复性是基于多版本提供回收站、存储桶复制等一系列功能和方法来健全误删恢复体系 2.3 通过Java SDK 实现快速批量恢复数据的方法 COS的Java SDK也基于多版本提供了一种快速批量恢复数据的方法，其核心逻辑就是遍历所有目标对象，找到第一个非删除版本的数据对象进行拷贝。 从防误删到误删恢复，我们致力于将数据丢失的风险降到最低，确保企业能够在安全可靠的环境中蓬勃发展。
93110编辑于 2024-06-03 - 来自专栏ES自助排障
ES集群恢复并发达到上限
via [cluster.routing.allocation.node_concurrent_recoveries])"}]如果 decider 中返回 "throttling" 时，通常表示该节点恢复并发达到上限 ，如果集群资源利用率比较低的话，可以适当调大恢复并发参数，加速分片分配。 cluster.routing.allocation.cluster_concurrent_rebalance : 2，分片balance的数量cluster.routing.allocation.node_concurrent_recoveries : 2，控制节点同时进行恢复和分配操作的数量 cluster.routing.allocation.node_concurrent_incoming_recoveries : 2，控制节点并发进行恢复操作的数量cluster.routing.allocation.node_concurrent_outgoing_recoveries 其余并发恢复或分配数量一般建议调整为小于或等于单节点cpu核数。Persistent设置：这些设置是持久的，一旦设置后将一直保持有效，即使集群重启也会保留。
1.2K20编辑于 2023-07-17 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES数据备份恢复使用教程（视频）
在腾讯云Elasticsearch集群上通过COS进行索引数据的备份与恢复，教程包含： 1. 如何创建COSbucket 2. 创建备份仓库 3. 进行快照备份及恢复 详细文档可参考https://cloud.tencent.com/document/product/845/19549 视频内容
4.4K51发布于 2020-10-14 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之五】通过snapshot迁移ES数据
1.3、腾讯云ES备份到COS使用方式 snapshot api 是 Elasticsearch用于对数据进行备份和恢复的一组 api 接口，可以通过 snapshot api 进行跨集群的数据迁移，原理就是从源 ES 集群创建数据快照，然后在目标 ES 集群中进行恢复。 从自建 ES 集群迁移至腾讯云 ES 集群，可直接使用 fs 类型仓库，但需要在 ES 配置文件 elasticsearch.yml 中设置仓库路径。 ES 集群迁移至腾讯云 ES 集群，或腾讯云内部的 ES 集群迁移，可使用对应云厂商提供的仓库类型，例如 AWS 的 S3、阿里云的 OSS 和腾讯云的 COS 等。 } 3) 目标 ES 集群中创建 repository 目标 ES 集群中创建仓库和在源 ES 集群中创建仓库类似，用户可在腾讯云上创建 COS 对象 bucket，把仓库建在 COS 的某个 bucket
9.7K52发布于 2020-04-09 - 来自专栏大数据生态
Elasticsearch 数据离线迁移方案（含冷热分层场景）
提供的一组用于索引数据快速备份及恢复的 api 接口，详细介绍可查看官方文档，利用该组 api 接口，我们可以通过将源 es 集群的数据备份到远程仓库，再在腾讯云es集群上从远程仓库中通过快照恢复的方式来实现跨集群的离线数据迁移 S3 对象存储，快照存放于 S3 中，以插件形式支持，安装插件 repository-s3； hdfs：快照存放于 hdfs 中，以插件形式支持，安装插件 repository-hdfs； cos：快照存放于腾讯云 其中COS插件的github地址：https://github.com/tencentyun/elasticsearch-repository-cos 从客户自建 ES 集群中迁移到腾讯云 ES，我们可以直接使用 云 ES 集群上执行恢复命令 从 COS 仓库中恢复快照： 1）elasticsearch版本 >= 7.10 指定热节点恢复： POST _snapshot/my_cos_backup/snapshot 中刚备份的快照数据恢复到云上的ES集群中，执行这一步的前提是需要先在云上的 ES 集群中创建仓库，地址和源端集群上一致。
4.7K227编辑于 2023-06-25 - 来自专栏腾讯云大数据与AI专家服务
使用cos备份迁移es数据，新集群restore报错snapshot_restore_exception
四、目标集群恢复快照POST _snapshot/my_cos_backup/snapshot_1/_restore# 如果只想恢复部分index，也可以POST _snapshot/my_cos_backup v# 获取快照详情GET _snapshot/my_cos_backup/snapshot_1# 获取snapshot开头的快照，且按照name排序并只返回第一个GET /_snapshot/my_cos_backup size=1&sort=name&after=c25hcHNob3RfMSxteV9jb3NfYmFja3VwLHNuYXBzaG90XzE=# 也可使用偏移量GET /_snapshot/my_cos_backup _3? GET _snapshot/_statusGET _snapshot/<repository>/_statusGET _snapshot/<repository>/<snapshot>/_status# 恢复快照
96010编辑于 2023-03-31 - 来自专栏云原生生态圈
3种 Elasticsearch 数据离线迁移方案，你知道吗？
快照 基于 COS 快照的迁移方式是使用 ES 的 snapshot api 接口进行迁移，基本原理就是从源 ES 集群创建索引快照，然后在目标 ES 集群中进行恢复。 cos：快照存放于腾讯云COS对象存储中，以插件形式支持，安装该插件请参考 cos-repository[3]。 如果需要从自建 ES 集群迁移至腾讯云的 ES 集群，可以直接使用 COS 类型仓库。 但需要先在自建 ES 集群上安装 cos-repository 插件（安装插件后需要重启集群才能使用），先把自建 ES 集群中的数据先备份到 COS，然后在腾讯云上的 ES 集群中恢复出来，以完成数据的迁移 如果自建 ES 的集群不方便安装 cos-repository 插件，但是已经安装 repository-s3 或者 repository-hdfs 插件，则可以先把数据备份到 S3 或者 HDFS 中 ，然后把 S3 或者 HDFS 中备份好的文件上传到腾讯云 COS 中，之后在腾讯云上的集群中进行恢复。
4.9K30编辑于 2022-02-16 - 来自专栏xiaoheike
elasticsearch(es) 集群恢复触发配置（Local Gateway参数）
elasticsearch(es) 集群恢复触发配置（Local Gateway） 当你集群重启时，几个配置项影响你的分片恢复的表现。 首先，我们需要明白如果什么也没配置将会发生什么。 然后整个集群重新进行平衡，因为集群的大小已经从 5 变成了 10。 在整个过程中，你的节点会消耗磁盘和网络带宽，来回移动数据，因为没有更好的办法。 一旦预期数量的节点已加入集群，就会启动本地分片的恢复。默认为0 gateway.recover_after_time 如果未达到预期的节点数，则恢复过程将等待配置的时间量，然后再尝试恢复。 gateway.excepted_* 条件则立即执行数据同步 recovery_after_time 时间用完，那么也会开始执行数据同步 举个栗子 gateway: recover_after_nodes: 3 假设集群中有5个node，其中3个node已经恢复正常使用，也就是达到了 recover_after_nodes: 3 的条件。
3.2K20发布于 2018-09-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号