- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户5909132的专栏
ES日志存储以及备份压缩到COS
ES集群规格配置高，消耗资源和成本。我们基于Go语言设计了一个多用户多ES集群，日志备份到cos节省成本的方案。本篇实践基于Go语言编程。 索引设计 为了防止单个索引不断增加。 ES数据备份到COS 创建备份流程 在 ES 备份流程中，为了保证备份的正确性和完整性，可以按照如下步骤执行： 创建一个仓库来存储备份数据。 创建一个快照任务，将ES中的数据备份到指定的仓库中。 ES提供了API接口来查询快照的状态和进度，可以根据查询结果来判断备份是否已经完成。 调用 COS 提供的压缩函数对备份数据进行压缩，以减小备份数据所占用的存储空间。 通过备份和压缩到 COS 可以将 ES 存储的数据缩小到 1/4 的大小，并且通过 COS 的海量分布式存储服务，可以提供低成本、弹性的云存储服务。 数据恢复到ES 创建恢复流程 恢复流程是备份流程的逆向流程，主要包括如下步骤： 创建COS解压缩函数 创建恢复任务 查询恢复任务是否完成 完成恢复 1.
94840编辑于 2023-04-18 - 来自专栏小黑博客
数据备份到对象存储(cos)
之前我，写过利用bypy+crontab 实现定时数据备份到百度网盘, ,大家也知道百度网盘的一个缺点就是下载速度太慢，当然如果你是会员就当我没说，下面给你们介绍如何把数据备份到腾讯的cos中，腾讯的数据存储新用户会有 本地数据迁移到COS, 功能同之前的本地同步工具 友商数据迁移到COS, 目前支持aws s3, 阿里云oss, 七牛存储, 又拍云存储 根据url下载列表进行下载迁移 COS的bucket数据相互复制 因此，我们参照的db中是否有过迁移成功的记录，而不是查找COS，如果绕过了迁移工具，通过别的方式(比如coscmd或者控制台)删除修改了文件，那么运行迁移工具由于不会察觉到这种变化，是不会重新迁移的。 mkdir /usr/java cd /usr/java 将下载的文件 jdk-8u151-linux-x64.tar.gz 复制到 /usr/java/ 目录下。 ，只需等待即可 图片 出现上图结过表示备份成功 图片
2.4K10编辑于 2022-12-28 - 来自专栏腾讯云存储
云数据备份 | MySQL、SQL Server 数据备份到 COS
数据备份是企业应对系统故障的重要手段。数据备份可以提高系统的高可用性和灾难可恢复性，使用备份还原数据是系统崩溃时提供数据恢复最小代价的最优方案。 一、云数据库备份方案 使用 COS 应用集成备份 COS 应用集成是腾讯云对象存储 COS 基于 Serverless 云函数，为开发者提供的存储数据应用解决方案。 开发者只需要在 COS 控制台一键配置，即可使用丰富的功能。 COS 应用集成提供了云数据库备份的能力，开发者可以轻松配置定时备份任务，将云数据库上的备份文件转存至对象存储进行持久化的保存，在数据库上的数据丢失或损坏时，开发者可以通过备份文件快速恢复数据。 四、备份任务设置步骤 以设置 MySQL 备份任务为例，SQL Server 设置与之相似： 1. 登录腾讯云 COS 对象存储控制台。 2.
5.8K30发布于 2021-11-05 - 来自专栏用户5909132的专栏
云消息队列备份 | CKafka、TDMQ 消息队列数据备份到 COS
为了更方便地对消息队列中的数据进行转存和持久化，腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案 使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数，为开发者提供的存储数据应用解决方案。 COS 应用集成提供了云消息队列备份的能力，开发者可以轻松配置定时备份任务，将云消息队列中的消息记录以文件的形式转至对象存储，以便进行持久化保存。 四、备份任务设置步骤 这里以设置 CKafka 消息备份任务为例，TDMQ 设置与之相似： 登录腾讯云 对象存储 COS 控制台。 在左侧导航中，单击【应用集成】，找到【CKafka消息备份】。 五、查看备份文件 等待一段时间后，可以看到存储桶下投递了备份文件，其内容的每行代表一条消息记录。 好了，本期关于云备份方案将分享到这里，欢迎点击“阅读原文”，查看更多云消息队列备份攻略。
3.1K20编辑于 2022-01-14 - 来自专栏腾讯云存储
云消息队列备份 | CKafka、TDMQ 消息队列数据备份到 COS
为了更方便地对消息队列中的数据进行转存和持久化，腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案-使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数，为开发者提供的存储数据应用解决方案。 COS 应用集成提供了云消息队列备份的能力，开发者可以轻松配置定时备份任务，将云消息队列中的消息记录以文件的形式转至对象存储，以便进行持久化保存。 四、备份任务设置步骤 这里以设置 CKafka 消息备份任务为例，TDMQ 设置与之相似： 登录腾讯云 对象存储 COS 控制台。 在左侧导航中，单击【应用集成】，找到【CKafka消息备份】。 五、查看备份文件 等待一段时间后，可以看到存储桶下投递了备份文件，其内容的每行代表一条消息记录。 好了，本期关于云备份方案将分享到这里，欢迎点击“链接”，查看更多云消息队列备份攻略。
2.3K20编辑于 2022-01-13 - 来自专栏Naraku的专栏
Linux定时备份数据库到COS
安装COSCMD $ pip install coscmd $ coscmd -h # 测试是否安装成功 在root目录下创建配置文件.cos.conf，并写入配置 secret_id 的根目录下 $ coscmd upload /root/1.txt / 编写脚本 编写脚本Backup2COS.sh 执行时将数据库导出到/root/目录 然后上传到COS的/backup/目录 将执行结果写入到 log.txt，且若执行成功时将本地SQL备份文件删除 # 获取当前时间戳 SQLFile=`date +%Y%m%d_%s`.sql # 备份指定数据库 mysqldump -uroot -proot typecho > /root/$SQLFile # 添加环境变量,不然可能出现coscmd Not Found错误 source /etc/profile # 上传到COS /usr/local/ # 赋权 $ bash Backup2COS.sh # 测试 定时执行 利用Crontab设置定时任务即可，这里配置每天凌晨2点执行一次脚本。
2.2K40发布于 2021-07-28 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
创建好仓库后，我们可以使用如下命令查看 GET /_snapshot/my_cos_backup 返回如下： 可以看到仓库是创建成功了，下面我们把该集群上的所有索引快照都备份到该仓库下。 3、源地域备份snapshot 在上一步我们创建了my_cos_backup的repository，下面我们就开始将snapshot备份到该repository中。 下面我们到COS控制台的es目录下查看备份好的快照信息，索引的信息都存储在indices目录中。 进入indices目录： 查看cos中的快照信息 可以看到北京集群中的快照都已经备份到北京地域的cos中了。 2、cos间数据复制 开始cos数据的同步复制迁移：将刚刚备份到北京cos桶下面的索引数据通过cos控制台提供的对象存储迁移功能，全量迁移到上海的桶中。这里我们选择根目录下的全量复制。
3.3K92编辑于 2022-03-11 - 来自专栏腾讯云Elasticsearch Service
腾讯云ES集群通过COS实现跨地域备份与恢复
创建好仓库后，我们可以使用如下命令查看 GET /_snapshot/my_cos_backup 返回如下： 可以看到仓库是创建成功了，下面我们把该集群上的所有索引快照都备份到该仓库下。 3、源地域备份snapshot 在上一步我们创建了my_cos_backup的repository，下面我们就开始将snapshot备份到该repository中。 下面我们到COS控制台的es目录下查看备份好的快照信息，索引的信息都存储在indices目录中。 进入indices目录： 可以看到北京集群中的快照都已经备份到北京地域的cos中了。 2、cos间数据复制 开始cos数据的同步复制迁移：将刚刚备份到北京cos桶下面的索引数据通过cos控制台提供的对象存储迁移功能，全量迁移到上海的桶中。这里我们选择根目录下的全量复制。 到此，腾讯云ES集群通过COS备份恢复的方式进行跨地域数据迁移就结束了。
1.7K20发布于 2021-01-08 - 来自专栏写两行代码放松下
自动备份本地文件、数据库到COS中
网站虽小，但是备份数据，也是个刚需。主要是MySQL的数据库备份以及一些本地文件的备份。 一直想找一个现成的简单、轻量的解决方案，能够把指定目录或者文件定时自动上传到COS里面备份，但却一直没有找到，所以就只好自己动手了。 思路介绍 整体思路很简单，写一个shell脚本，利用crontab定时运行，功能就两个：1、打包指定的目录，上传到COS；2、导出MySQL数据，上传到COS。 另外在COS里面设置过期规则，比如30天后删除旧得备份。 具体操作 下面，简单记录相关步骤： 注意：这里的操作步骤只是一个参考，具体备份的文件夹路径、备份的数据库等内容可根据实际情况调整。 3、新建一个脚本backup.sh，这里假设我们备份的目录为/etc/my.cnf.d/要备份的数据库名为mysql #!
2.9K01编辑于 2022-03-05 - 来自专栏腾讯云大数据与AI专家服务
使用cos备份迁移es数据，新集群restore报错snapshot_restore_exception
二、创建快照PUT _snapshot/my_cos_backup/snapshot_1{ "indices":"*,-. 四、目标集群恢复快照POST _snapshot/my_cos_backup/snapshot_1/_restore# 如果只想恢复部分index，也可以POST _snapshot/my_cos_backup v# 获取快照详情GET _snapshot/my_cos_backup/snapshot_1# 获取snapshot开头的快照，且按照name排序并只返回第一个GET /_snapshot/my_cos_backup size=1&sort=name# 分页查询，使用上一步返回的next值继续查看剩余snapshot开头的快照GET /_snapshot/my_cos_backup/snapshot*? sort=name# 获取排序后"snapshot_1"之后的snapshotGET /_snapshot/my_cos_backup/*?
96010编辑于 2023-03-31 - 来自专栏腾讯云存储
将个人计算机中的文件备份到 COS
除了将文件复制到备份媒介上，还需要验证备份内容的准确性。而复制与验证这两项工作，还需要定期去执行，这样在发生文件丢失时，才能最大限度挽回损失。 随着云服务的发展，我们有可靠的企业级云存储服务，腾讯云 COS 对象存储就是这样一类服务；随着国家提速降费的号召，宽带越来越快，而且越来越便宜，让我们将文件备份上云成为现实。 接下来，我们就需要一款软件，打通计算机中的文件和云存储，将我们的文件定期自动备份到云上，并定期验证备份文件的准确性。 准备腾讯云对象存储 若您目前已经在使用 COS，请忽略1 - 2步骤。 注册腾讯云账号 并完成 实名认证。 登录 对象存储 COS 控制台，按照提示开通 COS。 - Server URL：输入上文记录的请求域名中，从cos开始的部分，并在前面加上https://，例如 https://cos.ap-chengdu.myqcloud.com，请注意这里不包含存储桶名称
2.2K115发布于 2020-05-06 - 来自专栏Serverless 实战应用
使用GoodSync将文件备份至COS
前言文件备份是文件管理中始终无法绕过的一环，文件备份工作做得是否到位很大程度上地影响了数据的安全性。 作为云存储服务的代表，COS除了能带来上述的优势，还能为用户提供数据处理、内容审核、应用集成等高级特性，无论是面向个人或是企业用户，其都能提供一套完整的云存储解决方案。 本文从零开始，一步一步地指引您使用GoodSync将您的重要文件备份到COS，完成3-2-1黄金法则中的一环（1份拷贝、1种介质、1份存放于异地的拷贝），享受由云存储服务飞速发展所带来的成果。 图片在“Server Address”中输入cos. <存储桶所属地域>.myqcloud.com 注：存储桶所属地域可在地域和访问域名中获取 本文存储桶所属地域为广州，因此输入cos.ap-guangzhou.myqcloud.com 在“Initial
1.8K101编辑于 2022-08-04 - 来自专栏腾讯云存储专家服务
COS对象存储数据冗余备份方案
数据安全背景数据安全容灾与备份一般意义上，备份指的是数据备份或系统备份，容灾指的是不在同一机房的数据备份或应用系统备份。 （5）容灾系统中，两地的数据是实时一致的；备份的数据则具有一定的时效性。（6）故障情况下，容灾系统的切换时间是几秒钟至几分钟；而备份系统的恢复时间可能几小时到几十小时。 密钥泄漏，覆盖或删除对象资源，例如密钥泄漏到github，黑客入侵，恶意勒索。人为主观因素恶意删除或修改，例如广为流传的“删库跑路”。 /挂载接入点cosfs <BucketName-APPID> <MountPoint> -ourl=http://cos. 工具为例，定时900秒轮询拉取COS数据并上传至OSS。
4.5K20编辑于 2023-03-09 - 来自专栏Ar-Sr-Na
【对象存储COS】使用COS自动数据备份，解放硬盘空间
如果是直接从COS下载的，则使用外网下行流量包，如果是通过CDN的，则使用CDN回源流量包，具体方案可以参考：COS+CVM+CDN 实现低成本高效率往返传输数据。 自动备份手机相册备份自动备份需要使用COSBrowser客户端，在手机上打开COSBrowser客户端，点击相册-去设置。将基本设置配置完毕后保存，在空闲时间将会自动上传相册到对应地域的存储桶中。 电脑文件备份打开COSBrowser客户端，点击右上角的工具箱，选择文件同步本地文件夹选择需要上传的文件夹，存储桶根据自己的设置来选择，后面的路径设置表示存储到存储桶的哪个目录下。 同步类型选择自动同步这样在文件夹里面新增或图片，对象存储就会自动上传以备份空间管理我们当然不希望保存的成本太高，比如上面说的要分类存储，在cos控制台和COSBrowser客户端都能直接进行设置存储类型在控制台 到此，COS实现备份的功能介绍就到此结束，最后别忘了腾讯云在618推出了一系列促销活动，优惠力度巨大，尤其是刚入门腾讯云的“小白”们，这是一次不错的机会，用最低的价格体验腾讯云的产品。
1.7K10编辑于 2024-06-03 - 来自专栏技术指北
宝塔上备份站点到腾讯云COS，实现备份自由
所以这次我决定一步到位，直接将备份文件上传至腾讯云COS对象存储，本来已经在找腾讯云COS的API来自己实现了，但是一看宝塔有现成的，那我们就直接用宝塔的。 所以我们本篇文章将利用宝塔上的腾讯云COS插件 以及 宝塔上的定时任务来实现服务器和数据库的备份，且将备份上传到腾讯云COS 前提：购买腾讯云COS服务。这个就不再多介绍了。 然后我们打开宝塔的计划任务，然后分别选中要备份的数据库 和 要备份的站点就行。如右图。我这里选择之后，我设置的策略是每周1的0:30执行备份计划。保留最新的3份备份。然后备份到COS。 这里要注意，如果你没有安装和配置COS插件，那么备份位置是只有本机的，没有COS 然后我们手动执行一次计划任务，看可不可以成功备份且上传到COS上面。 |ap-beijing|website-1302311129|/bt_backup/|StandardL[0m |-已成功上传到腾讯云COS |-数据库已备份到：/www/backup/database
1.3K10编辑于 2024-12-25 - 来自专栏Lcry个人博客
使用Velero实现K8S集群资源备份到对象存储COS
将生产集群资源复制到开发和测试集群。 Velero 工作原理图如下图所示（来源于 Velero 官网），当用户执行备份命令时，备份过程说明如下： 调用自定义资源 API 创建备份对象（1）。 另外当执行还原操作时，Velero 会将指定备份对象的数据从后端存储同步到 Kubernetes 集群完成还原工作。 更多关于 Velero 介绍，请参见 Velero 官网文档。 本文将介绍如何使用腾讯云 对象存储 COS 作为 Velero 后端存储实现集群备份和还原。 前提条件 已 注册腾讯云账号。 已开通腾讯云 对象存储 COS 服务。 plugins #查看插件 扩展 若需要备份到自建的Minio存储中，使用下面步骤： docker快速部署minio，部署成功访问 http://localhost:19001，默认帐号密码：minioadmin 》 总结 本文主要介绍 Kubernetes 集群资源备份工具 Velero，展示了如何配置腾讯云 COS 对象存储来作为 Velero 的后端存储，并成功实践服务资源和数据的备份和还原操作，最后扩展了使用自己的
2.1K20编辑于 2022-11-29 - 来自专栏云计算教程系列
如何使用LVM快照将MySQL数据库备份到腾讯云COS
让我们来看看： cd /backup_src ls 你应该看到你的MySQL数据目录： lost+found mysql 现在我们可以访问数据的一致快照，我们可以将其备份到腾讯云COS。 第四步 - 压缩并上传文件到腾讯云COS 要将此备份上传到我们的腾讯云COS，我们将使用coscmd工具。COSCMD 工具在使用前需要进行参数配置。 您现在已经完成了完整的MySQL物理备份并将其上传到您的腾讯云COS 我们将通过快速运行恢复方案来结束本教程。 第六步 - 从物理备份测试还原 要从我们之前上传到腾讯云COS的物理备份恢复我们的MySQL数据库，我们将备份传输到我们的数据库服务器，然后将提取的文件用作我们恢复的MySQL数据目录。 将物理备份文件上载到腾讯云COS的合理替代方法是将LVM快照与服务器快照结合使用。 ----
4.9K20发布于 2018-08-10 - 来自专栏技术小白的奇思妙想
【玩转腾讯云】腾讯云COS双重备份-版本控制+跨地域备份
适用于：COS 存储桶中文件的【防误删及增量备份、多重备份】。 适用于：不会写代码的我（小白） 防误删：版本控制 增量备份：跨地域备份 多重备份：跨地域备份 一、有 COS 备份需求 为避免文件过大占用服务器所剩无几的硬盘资源，今天将 100 GB 的 COS 所以提出以下需求 将【腾讯云 COS 】中的存储桶 A 挂载到云服务器，为了数据安全和稳定，需要对存储桶A进行备份，最好是实时备份到存储桶 B，存储桶 A 中文件更改后，存储桶 B 也立即更改，即使对存储桶 官方文档 跨地域复制需要新建一个与 A 地域不相同的 存储桶 B ，然后先将 A 中的所有文件复制到 B 中。 COS 产品定价 - 官方文档 【结语】腾讯云COS 版本控制+跨地域备份功能完美解决了 COS 存储桶中文件的防误删及增量备份、多重备份问题。
8.9K147发布于 2020-04-15 - 来自专栏腾讯云Elasticsearch Service
基于SCF实现批量备份Elasticsearch索引到COS
如果我们需要对过去一段时间的老索引进行冷备份，比如通过快照备份到S3或者腾讯云的对象存储服务COS中，然后降低索引的副本数量或者直接从ES删除索引，可以采取的方式有多种。 一种是手动调用ES的API，一次性备份所有的老索引到COS中，但是如果数据量较大时只使用一个快照可能因为数据传输中断而导致快照执行失败；另外一种方式是自己编写脚本，通过crontab定时执行脚本对过去某一天或几天的索引打快照 创建COS仓库 我们把快照保存到腾讯云的COS对象存储中，首先需要调用ES的API创建一个COS repository: PUT _snapshot/cos-repo { "type": "cos 备份和恢复ES数据的步骤可以参考使用 COS 进行备份及恢复. 2. = "my-index-" # 从过去哪一天的索引开始打快照 beforeOfDay = 60 # COS仓库名称 cosRepository = "cos-repo" # 快照名称前缀 cosSnapshotPrefix
94142发布于 2020-07-24 - 来自专栏运维小路
Elasticsearch（ES）备份与快照（Snapshot）
(本章节） 本文章源自我2019年写过的一篇文章：es备份，经过阿里公有云和腾讯私有云的验证，都是可用的，但是经过多年，部分信息已经发生改变，所以基于这个步骤重做步骤，已经验证成功。 Elasticsearch（ES）本身是存储大数据的，一般的情况是没有备份需求的，但是ES还是给我们提供了备份接口和方法。 这里的备份是可以备份到本地，也可以备份到对象存储里面，我这里直接以使用对象存储来作为存储后端。我在历史文章里面使用的是单机的备份，集群的备份也差不多（其实主要我也忘记了）。 这里的备份都是需要插件支持，如果你本地集群则需要自己安装，如果你用的云ES则一般都会自带。 1.插件安装 所有节点都需要安装，我还是以历史记录三节点集群作为演示。 @localhost elasticsearch-7.17.29]$ 6.执行备份 es_backup：前面创建的快照仓库名称。
58710编辑于 2025-09-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号