- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
二、COS跨地域数据复制 上一步我们完成了源地域集群快照数据的备份，即将北京es集群中的索引快照数据都备份到了北京cos的bucket中。由于无法直接在目的端集群中进行恢复。 三、目的地域snapshot恢复 在上一步，我们完成了北京cos的索引快照数据复制到上海的cos bucket中。下面我们就将这些数据在上海的es集群中恢复过来。 索引单独恢复到上海es集群中。 发现数据确实已经恢复过来了。到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。 总结： 本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间数据备份与恢复，即通过snapshot方式的数据迁移。
3.2K92编辑于 2022-03-11 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
二、COS跨地域数据复制 上一步我们完成了源地域集群快照数据的备份，即将北京es集群中的索引快照数据都备份到了北京cos的bucket中。由于无法直接在目的端集群中进行恢复。 下面我们就将这些数据在上海的es集群中恢复过来。 索引单独恢复到上海es集群中。 发现数据确实已经恢复过来了。到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。 总结： 本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间数据备份与恢复，即通过snapshot方式的数据迁移。
1.7K20发布于 2021-01-08 - 来自专栏用户5909132的专栏
通过COS快照从自建ES迁移至腾讯云最佳实践
一 场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 创建COS用于备份恢复的bucket 创建bucket地址： https://console.cloud.tencent.com/cos5/bucket 注意：创建与自建ES集群在同一个region的标准存储类型 在自建源ES集群上创建仓库 1) 在自建ES上创建仓库 PUT _snapshot/my_cos_backup{ "type": "cos", "settings 在目标ES集群执行快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。 在目标ES集群查看恢复效果 1) 通过执行_recovery命令，可以查看快照china恢复的状态，监控快照恢复的进度。
2.2K20发布于 2020-06-29 - 来自专栏用户5909132的专栏
ES日志存储以及备份压缩到COS
ES集群规格配置高，消耗资源和成本。我们基于Go语言设计了一个多用户多ES集群，日志备份到cos节省成本的方案。本篇实践基于Go语言编程。 索引设计 为了防止单个索引不断增加。 ES数据备份到COS 创建备份流程 在 ES 备份流程中，为了保证备份的正确性和完整性，可以按照如下步骤执行： 创建一个仓库来存储备份数据。 创建一个快照任务，将ES中的数据备份到指定的仓库中。 ES提供了API接口来查询快照的状态和进度，可以根据查询结果来判断备份是否已经完成。 调用 COS 提供的压缩函数对备份数据进行压缩，以减小备份数据所占用的存储空间。 通过备份和压缩到 COS 可以将 ES 存储的数据缩小到 1/4 的大小，并且通过 COS 的海量分布式存储服务，可以提供低成本、弹性的云存储服务。 数据恢复到ES 创建恢复流程 恢复流程是备份流程的逆向流程，主要包括如下步骤： 创建COS解压缩函数 创建恢复任务 查询恢复任务是否完成 完成恢复 1.
91740编辑于 2023-04-18 - 来自专栏腾讯云迁云技术团队专栏
【玩转腾讯云】通过COS快照从自建ES迁移至腾讯云最佳实践
1、场景介绍 在腾讯云同一个VPC内使用3台CVM部署自建ES集群，可以通过给自建Elasticsearch打快照存储到COS，在利用COS中的快照进行数据库恢复，将自建Elasticsearch数据迁移至腾讯云 2.3、创建COS用于备份恢复的bucket 注意：创建与自建ES集群在同一个region的标准存储类型COS。 集群中创建 repository 在目标 ES 集群中创建仓库和在源 ES 集群中创建仓库类似： PUT _snapshot/my_cos_backup { "type": "cos", 2.8、在目标ES集群执行从快照恢复 在目标腾讯云ES集群上执行快照恢复，会把snapshot_1快照里的备份的所有索引都恢复到当前ES集群中。 POST _snapshot/my_cos_backup/snapshot_1/_restore 2.9、在目标ES集群查看恢复效果 1) 通过执行_recovery命令，可以查看快照china恢复的状态
3.5K145发布于 2020-04-08 - 来自专栏阿dai_linux
es数据备份和恢复 原
GET "localhost:9200/_snapshot/my_backup/_current" 删除快照 从仓库中删除一个快照，使用如下命令： curl -X DELETE "node1:9200/ _snapshot/es_backup/test_snapshot_2" 当一个快照从仓库中删除，ElasticSearch 将删除该快照关联的但不被其他快照使用的所有文件。 删除仓库 可以使用下面命令注销仓库： curl -X DELETE "node1:9200/_snapshot/es_backup" 数据恢复 全量恢复 快照可以通过执行以下命令恢复 curl -X POST "node1:9200/_snapshot/es_backup/syslog/_restore" 默认情况下，快照中的所有索引将被恢复，集群状态不被恢复。 可以通过在恢复请求中使用 indices 和 include_global_state 选项来指定要恢复的索引和允许恢复集群全局状态。索引列表支持多索引语法。
4.2K20发布于 2019-04-03 - 来自专栏南非骆驼说大数据
腾讯云ES与COS之间的那点事儿
前言| 关于ES与COS之间的使用场景主要体现在数据迁移、数据恢复备份这几个方面。其原理就是通过COS将源ES数据中间存储，然后再将存储的数据进行目标ES集群异步恢复的过程。 <多节点>如何通过snapshot+fs+cos的方式实现数据到腾讯云ES的迁移恢复 2，用户自建ES集群<多节点>如何通过snapshot+cos的方式实现数据到腾讯云ES的迁移恢复 3, 用户如何将不同地域的 cos桶之间的数据做迁移恢复 4，腾讯云ES数据到cos、cos到自建ES之间的数据备份、恢复 一、用户自建ES集群<多节点>通过snapshot+fs+cos的方式实现数据到腾讯云ES的迁移恢复 这里提一下为什么不用单节点来演示呢 具体报错如下所示： image.png 结论： 那么至此，数据已经从自建ES集群---------》COS ----------》腾讯云ES，数据正常操作流转成功。 四，腾讯云ES数据到cos、cos到自建ES之间的数据备份、恢复 腾讯云ES默认集成COS插件，所以，配置也非常简单，基本流程都是创建仓库--执行快照--COS确认这样一个过程。
3.4K159发布于 2020-05-23 - 来自专栏伟哥专栏
通过COS多版本功能快速批量恢复数据
这里介绍一下，当真的手残点击了当前桶和备份桶的删除动作后，我们继续多版本的高可用架构如何可以快速的恢复我们想要的数据。 这里介绍一下快速恢复的方案。 import com.qcloud.cos.COSClient; import com.qcloud.cos.ClientConfig; import com.qcloud.cos.auth.BasicCOSCredentials com.qcloud.cos.model.ListVersionsRequest; import com.qcloud.cos.model.VersionListing; import com.qcloud.cos.region.Region 通过这个逻辑，我们只要找到第一个有实体数据的对象，做复制操作，就可以实现所有最新版的复制功能，实现批量的数据恢复。 以上就是通过多版本的方式，批量快速的恢复被删除数据的方法。 注：本方法目前只适合同账号恢复。不占用本地带宽资源，快速便捷。
1.7K62编辑于 2022-05-28 - 来自专栏腾讯云存储专家服务
通过COS多版本功能快速批量恢复数据
COS对象存储有11个9的数据保障级别，但是不保障主动删除的数据，如果真是手欠清空了存储桶。那么真的是无法挽回了。所以数据备份的事情，一定要防患于未然，提前做好高可用架构。 COS产品官网上有详细的高可用架构说明文档https://cloud.tencent.com/document/product/436/37709以上的理论内容，咱们就不详细说了。 这里介绍一下，当真的手残点击了当前桶和备份桶的删除动作后，我们继续多版本的高可用架构如何可以快速的恢复我们想要的数据。这里介绍一下快速恢复的方案。 通过这个逻辑，我们只要找到第一个有实体数据的对象，做复制操作，就可以实现所有最新版的复制功能，实现批量的数据恢复。以下是已复制的object列表。 ，执行结果如下脚本执行结果完成后在目标桶查看目标桶恢复的对象列表验证成功。
1.1K31编辑于 2023-05-11 - 来自专栏用户2141488的专栏
COS 批量恢复“归档存储”对象并转换为“标准存储”
背景 在cos的实际使用过程中，有一种场景：某些对象基本上不会使用，但是又要长期保存这些数据，这种数据被称为“冷数据”，这个时候就会用到cos的“归档存储”或“深度归档存储”，“归档存储”在存储费用上相对 “标准存储”有较大的优势，详情参考 产品定价； 但是突然有一天这些数据恢复使用，要能永久访问，这时需要将为“归档存储”的对象恢复，单个的对象恢复控制台操作即可，参考：恢复归档对象 但是如果是有几十万个归档的对象需要恢复 ，控制台手动操作肯定不现实，这时候结合cos的 清单功能 和 批量处理 两个功能实现“批量恢复归档对象”; 批量恢复“归档存储”对象 生成清单 如何 开通/添加清单 以及 清单的功能概述，这里不做过多介绍 第一步“地域及清单配置” 创建任务界面第一步“地域及清单配置”这里，其它项默认即可(您也可以按照自己的业务需要配置)，“清单文件路径” 这里，要选择生成的清单，如上截图，我的 “清单报告前缀” 是 “cos_bucket_inventory ”； “恢复模式”配置根据自己的需求选择；（标准模式更快，批量模式成本更低，区别介绍详见 恢复归档对象） “副本有效期”配置根据自己的需求选择；（文件恢复后超过副本有效期，文件再次进入“归档存储”模式，
3.6K10发布于 2020-12-13 - 来自专栏腾讯云存储
COS防误删和误删恢复攻略请查收
长期以来，腾讯云对象存储服务（COS）一直致力于数据安全的探索和实践，以保障数据的安全性和完整性。对象存储COS准备了一份“防误删”和“误删恢复”攻略给大家，本文将深入介绍这两部分。 二、介绍 COS提供日志管理功能帮助用户实时追踪、记录和分析每一次数据访问，方便对异常事件进行追溯，确保数据的可追溯性；而数据的可恢复性是基于多版本提供回收站、存储桶复制等一系列功能和方法来健全误删恢复体系 2.1 回收站 若数据被误删，可通过文件列表或者回收站进行恢复，通过文件列表恢复的方式已在第一章节的2.4.2小节描述，下面简述通过回收站恢复误删数据的步骤。 a. 2.3 通过Java SDK 实现快速批量恢复数据的方法 COS的Java SDK也基于多版本提供了一种快速批量恢复数据的方法，其核心逻辑就是遍历所有目标对象，找到第一个非删除版本的数据对象进行拷贝。 从防误删到误删恢复，我们致力于将数据丢失的风险降到最低，确保企业能够在安全可靠的环境中蓬勃发展。
84910编辑于 2024-06-03 - 来自专栏ES自助排障
ES集群恢复并发达到上限
via [cluster.routing.allocation.node_concurrent_recoveries])"}]如果 decider 中返回 "throttling" 时，通常表示该节点恢复并发达到上限 ，如果集群资源利用率比较低的话，可以适当调大恢复并发参数，加速分片分配。 cluster.routing.allocation.cluster_concurrent_rebalance : 2，分片balance的数量cluster.routing.allocation.node_concurrent_recoveries : 2，控制节点同时进行恢复和分配操作的数量 cluster.routing.allocation.node_concurrent_incoming_recoveries : 2，控制节点并发进行恢复操作的数量cluster.routing.allocation.node_concurrent_outgoing_recoveries 其余并发恢复或分配数量一般建议调整为小于或等于单节点cpu核数。Persistent设置：这些设置是持久的，一旦设置后将一直保持有效，即使集群重启也会保留。
1.2K20编辑于 2023-07-17 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES数据备份恢复使用教程（视频）
在腾讯云Elasticsearch集群上通过COS进行索引数据的备份与恢复，教程包含： 1. 如何创建COSbucket 2. 创建备份仓库 3. 进行快照备份及恢复 详细文档可参考https://cloud.tencent.com/document/product/845/19549 视频内容
4.4K51发布于 2020-10-14 - 来自专栏腾讯云大数据与AI专家服务
使用cos备份迁移es数据，新集群restore报错snapshot_restore_exception
二、创建快照PUT _snapshot/my_cos_backup/snapshot_1{ "indices":"*,-. 四、目标集群恢复快照POST _snapshot/my_cos_backup/snapshot_1/_restore# 如果只想恢复部分index，也可以POST _snapshot/my_cos_backup v# 获取快照详情GET _snapshot/my_cos_backup/snapshot_1# 获取snapshot开头的快照，且按照name排序并只返回第一个GET /_snapshot/my_cos_backup GET _snapshot/_statusGET _snapshot/<repository>/_statusGET _snapshot/<repository>/<snapshot>/_status# 恢复快照 ，根据情况自行选择所需参数POST /_snapshot/my_cos_backup/snapshot_1/_restore?
94810编辑于 2023-03-31 - 来自专栏xiaoheike
elasticsearch(es) 集群恢复触发配置（Local Gateway参数）
elasticsearch(es) 集群恢复触发配置（Local Gateway） 当你集群重启时，几个配置项影响你的分片恢复的表现。 首先，我们需要明白如果什么也没配置将会发生什么。 然后整个集群重新进行平衡，因为集群的大小已经从 5 变成了 10。 在整个过程中，你的节点会消耗磁盘和网络带宽，来回移动数据，因为没有更好的办法。 一旦预期数量的节点已加入集群，就会启动本地分片的恢复。默认为0 gateway.recover_after_time 如果未达到预期的节点数，则恢复过程将等待配置的时间量，然后再尝试恢复。 只要此许多数据或主节点已加入集群，即可恢复。 那么如果5分钟之内一共有5个node恢复正常使用，那么会立即进行集群的数据恢复，要不然就是过了5分钟node数量打不到5个，也会触发数据恢复。 欢迎转载，但请注明本文链接，谢谢你。
3.2K20发布于 2018-09-13 - 来自专栏SmartSi
Flink 从Checkpoint中恢复作业
验证 我们使用经典的 WordCount 实例来验证从 Checkpoint 中恢复作业并能沿用之前的状态信息。 为了模拟作业失败并能恢复，我们判断当我们输入是 “ERROR” 时，抛出异常迫使作业失败： public void flatMap(String value, Collector out) { throw new RuntimeException("custom error flag, restart application"); } ... } 为了确保作业在失败后能自动恢复 nc 服务输出测试数据，从 Flink Web 页面输出结果数据的详细信息： 序号 输入 输出 备注 1 a (a,1) 2 a (a,2) 3 b (b,1) 4 ERROR 作业重启 5 b (b,2) 6 a (a,3) 7 ERROR 作业重启 8 a (a,4) 9 ERROR 作业重启 10 b (b,3) 11 ERROR 作业失败 从上面信息可以看出作业恢复后，
6.5K20发布于 2020-12-29 - 来自专栏大数据zjiekou
腾讯云 Elasticsearch Service COS快照恢复常见问题及解决方案
一、前言用户在腾讯云上自建的 ES 集群或者在其它云厂商购买的 ES 集群，如果要迁移至腾讯云 ES（适用于大部分普通索引迁移），用户可以根据自己的业务需要选择合适的迁移方案。 解决方案：bucket：COS Bucket 名字，不带 appId 后缀的 bucket 名app_id：腾讯云账号 APPID二、cos快照恢复集群red，"explanation": "node 快照迁移到温节点的集群会出现这个问题，这个意思是说用户在目标集群恢复的时候 因为磁盘属性不同，导致数据恢复失败。 做快照的集群是ssd的，SSD磁盘的数据节点默认是hot属性的， 需要恢复的集群时高性能云硬盘，高性能云盘的数据节点默认是warm属性的 。从hot节点集群恢复到warm节点集群就会出现这个冲突异常。 解决方案：先删除之前恢复的索引，然后在恢复的命令中，加以下相关参数POST _snapshot/cos_backup/snapshot_名称/_restore{ "indices": "*,-.monitoring
1.8K20编辑于 2023-12-06 - 来自专栏大数据生态
Elasticsearch 数据离线迁移方案（含冷热分层场景）
提供的一组用于索引数据快速备份及恢复的 api 接口，详细介绍可查看官方文档，利用该组 api 接口，我们可以通过将源 es 集群的数据备份到远程仓库，再在腾讯云es集群上从远程仓库中通过快照恢复的方式来实现跨集群的离线数据迁移 其中COS插件的github地址：https://github.com/tencentyun/elasticsearch-repository-cos 从客户自建 ES 集群中迁移到腾讯云 ES，我们可以直接使用 源端ES集群执行创建快照 将源端 ES 集群的索引数据备份到 COS 的 my_cos_backup 仓库下，命名为：snapshot_1 PUT _snapshot/my_cos_backup/snapshot 云 ES 集群上执行恢复命令 从 COS 仓库中恢复快照： 1）elasticsearch版本 >= 7.10 指定热节点恢复： POST _snapshot/my_cos_backup/snapshot 中刚备份的快照数据恢复到云上的ES集群中，执行这一步的前提是需要先在云上的 ES 集群中创建仓库，地址和源端集群上一致。
4.5K227编辑于 2023-06-25 - 来自专栏腾讯云迁云技术团队专栏
【Elasticsearch系列之五】通过snapshot迁移ES数据
1.3、腾讯云ES备份到COS使用方式 snapshot api 是 Elasticsearch用于对数据进行备份和恢复的一组 api 接口，可以通过 snapshot api 进行跨集群的数据迁移，原理就是从源 ES 集群创建数据快照，然后在目标 ES 集群中进行恢复。 从自建 ES 集群迁移至腾讯云 ES 集群，可直接使用 fs 类型仓库，但需要在 ES 配置文件 elasticsearch.yml 中设置仓库路径。 ES 集群迁移至腾讯云 ES 集群，或腾讯云内部的 ES 集群迁移，可使用对应云厂商提供的仓库类型，例如 AWS 的 S3、阿里云的 OSS 和腾讯云的 COS 等。 } 3) 目标 ES 集群中创建 repository 目标 ES 集群中创建仓库和在源 ES 集群中创建仓库类似，用户可在腾讯云上创建 COS 对象 bucket，把仓库建在 COS 的某个 bucket
9.6K52发布于 2020-04-09 - 来自专栏晊恦的学习旅程
使用cvm从内网拉取cos文件下载
I.起因 之前用阿里OSS时候有看到有人用同地域ECS走内网拉文件，现在用腾讯COS，想到是不是也可以走内网使用cvm下载文件呢 II.实践开始 准备 你需要有一个存储桶，一台CVM，还有一个备案的域名 image.png 这一步就很关键了，如果用宝塔不要直接在配置文件配置反代，你需要在反向代理那块添加反代，否则可能会有几率错误 image.png 目标URL填访问域名 image.png 目标URL添加cos image.png 腾讯云给的地址是HTTPS，填的时候可以HTTPS或者HTTP，HTTPS就是更安全一点 之后我们访问对象地址，把访问域名改成你准备的域名 image.png 这样我们就可以通过CVM走内网访问COS 里的文件了 3.不用宝塔设置反代 直接在配置文件添加如下就行 location / { proxy_pass https://<BucketName-APPID>.cos. 注意事项 这里免得是COS外网下行流量，走内网会产生内网下行流量，但是内网下行流量并不计费。 虽然省去了外网下行流量费，请求费用还是照样收的。
4.1K70编辑于 2022-02-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号