- 综合排序
- 最热优先
- 最新优先
- 来自专栏AustinDatabases
从MYSQL 数据库归档 到 归档设计
2 数据通过MYSQL dump 或者其他的备份方式，将数据备份出来，在将数据恢复到数据归档库中，然后将备份的数据直接手动清理掉，这样的做法速度也很快，对业务的影响也比较小，基本上可以算是透明的方式了 2 归档的数据量，数据归档一般根据上面的东西，归档有一次性归档，和规律有固定日期的归档，一次性的归档一般归档的数据量比较大，而有规律的归档则归档的数据量并不大，对比两者的方式，其实定期归档（有规律）的要有优势一些 ，2 控制拷贝过期数据的日期限制 ? 为什么要这么设计，其实寻根溯源有两点 1 简单有效，够用原则 2 设计配置表的主要原因是对于非IT 人员，例如project manager 或者其他的人员，也可以调整归档的时间，例如 archive_save_date 这样归档有没有缺点，当然有，缺点马上就可以说出几个 1 为什么还要在本地机归档数据，不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制（每次限制操作的行数），这对MYSQL不是很用吗，为什么要写死
6.1K41发布于 2020-04-24 - 来自专栏Netkiller
日志归档与数据挖掘
日志归档与数据挖掘 摘要 2013-03-19 第一版 2014-12-16 第二版 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller 什么日志归档 2. 为什么要做日志归档 3. 何时做日志归档 4. 归档日志放在哪里 5. 谁去做日志归档 6. 怎样做日志归档 6.2.1. 软件安装 6.2.2. 节点推送端 6.2.3. 什么日志归档 归档，是指将日志整理完毕且有保存价值的文件，经系统整理交日志服务器保存的过程。 2. 为什么要做日志归档 随时调出历史日志查询。 通过日志做数据挖掘，挖掘有价值的数据。 何时做日志归档 日志归档应该是企业规定的一项制度(“归档制度”)，系统建设之初就应该考虑到日志归档问题。如果你的企业没有这项工作或制度，在看完本文后建议你立即实施。 4. 将日志放入数据库 将WEB服务器日志通过管道处理然后写入数据库 处理程序源码 $ vim match.d import std.regex; import std.stdio; import std.string
1.6K100发布于 2018-03-05 - 来自专栏每日一篇技术文章
归档
什么是tar 内容写入归档 如何从本地磁盘读取归档文件的内容呢？ 什么是tar ? buf := new(bytes.Buffer) // 2.创建一个新的tar存档。 tw := tar.NewWriter(buf) // 3.将一些文件添加到存档中。 = nil { log.Fatalln(err) } } 解释一下 bytes.Buffer 是一个结构体 new 方法的作用就是传入一个类型 返回一个对应的指针类型 2.归档写入类型 tar.NewWriter = nil){ log.Fatal(err) } // 2.创建一个归档读取类型的变量 r := bytes.NewReader(b) tr := tar.NewReader hdr.Name) fmt.Printf("Contents body: %s\n", buf) } 解释一下 1.ioutil.ReadFile 这句代码是读取指定路径下的文件到缓冲区 2.
1.6K20发布于 2019-05-26 - 来自专栏ShaoYL
归档
归档 基本概念 - 对象归档是指将对象写入文件保存在硬盘上，当再次重新打开程序时，可以还原这些对象。你也可以称他为对象序列化，对象持久化。 数据持久性的方式 NSKeyedArchiver --- 对象归档 NSUserDefaults 属性列表化（NSArray、NSDictionary保存文件） SQlite数据库、Core Data数据库 归档的形式 对Foundation库中对象进行归档 自定义对象进行归档（需要实现归档协议，NSCoding） 归档后的文件是加密的，属性列表是明文的。 示例 归档（序列化） //对数组进行归档，归档文件名为temparray 后缀名可以任意 NSString *homeDirectory = NSHomeDirectory(); NSArray * %@",unArray); 自定义内容归档示例 归档 使用 NSData 实例作为归档的存储数据 添加归档的内容（设置key与value） 完成归档 将归档数据存入磁盘中 解归档 从磁盘读取文件，生成
1.7K60发布于 2018-05-11 - 来自专栏运维监控日志分析
Logstash 索引数据按周归档
背景 日志分析平台对网络设备和服务器日志进行收集时发现索引数据按天归档单个索引的大小能控制在1G 以内，ELk集群产生的索引数量过多，于是决定将索引数据归档规则改为按周归档。 索引按天归档 index => "networklogs-%{+YYYY.MM.dd}" 索引按周归档 index => "ism-prod-networklogs-%{+YYYY.ww}" 数据格式 /usr/bin/bash t1=`date -d "-2 week" +"%V"` date=`date +%Y` curl -u elastic:R4a873O589Xt4HKcFPY2 -XGET '{print $2}' | while read LINE do if [ $LINE -le $t1 ]; then echo "$LINE时间早于$t1，进行索引删除" curl -u elastic:R4a873O589Xt4HKcFPY2 -XDELETE http://192.168.99.185:9200/*-$date.
1.7K10发布于 2021-01-08 - 来自专栏MySQL解决方案工程师
MySQL审计数据归档演示
将展示一些的其他技巧包括： 从JSON审计数据中提取行–使用JSON_TABLE函数将JSON数据转换为表格式。 将这些行从已审计的数据库插入到审计数据归档的MySQL数据库中。 这只是一种可能的设计模式，可以轻松地进行第三方集成或更改为将数据写入对象存储或某些其他审计数据存储库。 在术语方面，我将合并审计数据的服务器称为“归档服务器”。 首先让我们以管理员身份登录到归档MySQL服务器实例上–我将使用root。整个示例都需要使用mysql shell。它包括用于从目标服务器提取审计数据进行计划批处理归档的python。 步骤1 –审计归档数据库设置。 ) 好了，现在我需要看看我是否有之前的归档数据——这样我就可以指出审计数据中我需要开始读取更新数据的地方。如果归档不包含此实例的数据—我将从日志数据的开头开始。
1.5K40发布于 2020-11-09 物联网数据归档方案选择分析
最近在做数据统计分析。我在做数据分析时候，需要设计归档表。有两种方式， 方式1：年月日。 其中，日表是每小时数据，每台设备有24条数据 月表是每天数据，每台设备根据实际月天数插入 年表是每月数据，每台设备有12条数据。 方式2：年月日时。 上面两种方案，哪个更符合物联网中归档数据方案？在物联网(IoT)归档数据场景中，方式2（年月日时分区）通常是更优且更符合行业实践的选择。 典型IoT查询场景：存储管理灵活性冷热数据分层：方式2可按小时/日/月分区独立设置存储策略（如SSD存最近7天热数据，HDD存历史数据）。 2聚合查询效率月表/年表已预聚合，但无法回溯原始数据日表/月表可动态聚合，保留原始数据灵活性方式2存储开销冗余少（仅存原始表+聚合表）需存储小时表+聚合表，空间稍大但可压缩方式1略优运维复杂度分区较少，
39410编辑于 2025-06-06- 来自专栏DBA实战
PT-archiver数据归档-重构版
背景： 一张大表，我们姑且说1亿条记录，原表我要保存近7天的数据。Percona pt-archiver工具是这样做的，逐条把历史数据insert到归档表，同时删除原表数据。 2、创建一个归档临时表和原表一样的空表结构。 ； （2）UPDATE操作，所有的UPDATE也转换为REPLACE INTO，如果临时表不存在原表更新的该记录，那么我们就直接插入该条记录；如果该记录已经同步到临时表了，那么直接进行覆盖插入即可，所有数据与原表也是一致的 注：考虑到删库跑路等安全性问题，工具没有对原表进行任何删除归档数据的操作。 数据库归档按天：10天前的（ create_time>=2024-03-09） [root@test19-server07 pt-archiver-master]# php pt-archiver.php
53210编辑于 2024-09-10 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(二)、zipfile
This requires the zlib module.zipfile.ZIP_BZIP2The numeric constant for the BZIP2 compression method. the lzma module.New in version 3.3.NoteThe ZIP file format specification has included support for bzip2 compression method to use when writing the archive, and should be ZIP_STORED, ZIP_DEFLATED, ZIP_BZIP2 If ZIP_DEFLATED, ZIP_BZIP2 or ZIP_LZMA is specified but the corresponding module (zlib, bz2 or lzma) When using ZIP_BZIP2 integers 1 through 9 are accepted (see bz2 for more information).If the file is
1.4K30编辑于 2022-09-03 - 来自专栏科控自动化
C#读取WinCC变量归档数据
如何在Visual Studio 2019中编写一个C#应用程序，通过WinCC的 OLE DB接口读取设定时间范围内的WinCC变量归档数据。 3 <访问远程计算机的 WinCC 归档数据的注意事项> <如果 C#应用程序和 WinCC 项目不在同一台计算机，那么需要满足以下条件： 1、如果 C#应用程序所在计算机没有安装 WinCC 或者 DataMonitor 2、C#应用程序所在计算机当前登陆的用户需要在 WinCC 项目所在计算机的用户管 理中注册（用户名和密码都要相同），并且此用户需要具有 SQL Server 的管理权限。 v 在 C#应用程序中遍历 SQL Server 中所有的数据库名称，从中选择以字母“CC”开头并以字母“R”结尾的数据库名称。
5.1K12编辑于 2022-03-29 - 来自专栏编程之旅
iOS开发——数据持久化之归档
在实际的项目开发中，数据持久化是我们必须要考虑的一个事情，如何把我们需要的数据进行持久化处理。 既然涉及到了Model类的对象，就要考虑用归档（NSKeyedArchiver）来处理它了。NSKeyedArchiver能够存储的数据范围很广，因为它对应着MVC中的Model层，即实体类。 那么对自定义对象的归档显得重要的多，因为很多时候我们都要在程序退出时保存数据，再程序恢复时重新加载，那么，归档便是一个好的选择。 接下来我们来讲讲NSKeyedArchiver的使用。 ，就需要在归档和解档之前先实现父类的归档和解档方法。 以上就是最简单的归档解档数据持久化的实现方式，至于如何用runtime进行自动归档解档，就又需要日后深入研究了。
84710发布于 2018-08-30 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(三)、tarfile
r:bz2'Open for reading with bzip2 compression.'r:xz'Open for reading with lzma compression.' x:bz2'Create a tarfile with bzip2 compression. w:bz2'Open for bzip2 compressed writing.' It is supposed to be at position 0.For modes 'w:gz', 'r:gz', 'w:bz2', 'r:bz2', 'x:gz', 'x:bz2', tarfile.open w|bz2'Open a bzip2 compressed stream for writing.'
1.1K20编辑于 2022-09-03 - 来自专栏XBD
tar - 归档
参数 说明 z 创建 gzip 格式的压缩包 j 创建 bz2 格式的压缩包 J 创建 xz 格式的压缩包 x 解压一个压缩包 c 创建一个压缩包 t 查看压缩包的内容 r 把文件追加到压缩包末尾 u
1.8K10编辑于 2022-10-27 - 来自专栏SAP ERP管理实践
SAP 物料主数据归档操作笔记
1.MM06标记删除 先用MM06做删除标记，特别注意归档和物理删除是有条件的，如有业务数据是不能进行删除的，要把其它业务数据先做删除或归档处理 ? 在物料的选项框中打勾说明要进行删除物料 ? 2.SARA 归档删除 应用 SARA 进行归档和删除，先归档后删除 ? 点击归档按钮进入MM71如是物料主记录归档，如是其它事务代码是不同的，SARA是一个归档集中器，可以调用不同的归档事务 ? 点击 删除按钮，进入到下列界面，点击归档选择 ? 点击归档选择，点选 下面的两个方框 ? 点击 确认按钮就进行物料删除了，你的任务就完成了，应用MM03是看不到了的，其它的归档原理相同，只是删除的对象不同而矣
3.6K51发布于 2019-05-29 YashanDB归档管理
当故障发生时，可以通过历史全量数据数据备份以及归档的redo日志文件重做完成数据库重建。 /archive 2.修改归档路径：通过SQL语句修改归档路径，重启数据库后生效。 1.关闭数据库：-- 关闭数据库实例SHUTDOWN IMMEDIATE; exit;2.重启数据库：$ yasboot cluster restart -c yashandb -m mount $ yasql 清理归档的原则：归档日志不被数据库回放需要，即小于数据库的回放点，这样的归档才可以被清理。可以从V$DATABASE视图的RCY_POINT获取数据库的当前回放点。 若在备份集后生成的归档日志和在线日志连续且完整，可通过指定时间点使数据库继续恢复至任意时间点；若备份集之后的归档日志被清理，则数据库无法继续恢复至任意时间点。
56610编辑于 2025-03-28- 来自专栏剑指工控
PCS7+（WINCC）数据归档与备份
否则，如果采集周期大于 1 分钟，则在“ Tag Logging Slow”慢速归档中对数据进行归档。平常我们所看到的历史曲线都是快速归档，每 2S 采集一次数据。 2.PCS7 变量记录归档路径 四个文件夹： ArchiveManager：最早生成的数据归档文件存放在该文件夹中。 因为本项目所有归档变量的采集周期都小于 1 分钟，基本上都是 2S 采集一次，都属于快速归档 TagLoggingFast，曲线中查看的也都是该类归档数据，没有慢速归档数据 TagLoggingSlow 在 WINCC 仍然激活期间，如果数据片段的大小尚未达到设置值或系统时间未到达设置的分段时间，则该文件不会生成结束标志。 步骤 2. 通过工程师站将项目下载到新服务器中，激活运行，参考方案 A，查看相应的归档文件夹 ArchiveManager 中是否有新的报警、慢速、快速归档文件生成。如果有，则表明数据备份没有问题。 步骤 2.
6.4K22发布于 2021-11-09 - 来自专栏物联网
物联网数据归档之数据存储方案选择分析
在上一篇文章中《物联网数据归档方案选择分析》中凯哥分析了归档设计的两种方案，并对两种方案进行了对比。这篇文章咱们就来分析分析，归档后数据应该存储在哪里？及存储方案对比。 这里就选择常用的mysql及taos数据库来存储归档后的数据吧。你在处理设备归档表存储方案时对MySQL和TDengine的对比考量很关键，这直接关系到系统长期的可扩展性和运维成本。 ，减少事务开销异步写入：用Kafka等消息队列缓冲写入，避免直接冲击数据库存储治理热数据：存MySQL（近3个月）冷数据：转储至对象存储（如S3），通过外部表查询 冷热分离：定期归档：将超期数据迁移到历史表 ，减少主表体积压缩与类型优化使用TINYINT代替VARCHAR存储状态枚举启用MySQL列压缩（如InnoDB页压缩） 四、为何TDengine在物联网归档中更具优势TDengine的架构设计直击物联网痛点 MySQL，指标数据入TDengine 9 总结：以终为始设计归档策略选型本质：本质上是 “存储成本 vs 开发运维成本” 的权衡：MySQL入门简单但扩展贵，TDengine学习曲线陡峭但长期性价比高
69310编辑于 2025-06-10 如何利用YashanDB进行高效数据归档管理
在这种背景下，数据归档管理显得尤为重要。归档数据不仅能够优化存储资源的使用，还可以提高查询性能和数据安全性。YashanDB作为一种高性能的数据库解决方案，提供了多种特性来支持高效的数据归档管理。 对于冷数据，可以利用列存模式（如LSC和TAC表）以更高效的方式进行存储和访问，从而显著提高压缩效率和数据处理速度。2. 归档策略支持YashanDB支持灵活的归档策略。 比如，用户可以设置特定的时间点或数据状态触发数据归档操作。同时，借助于分区管理，用户能够将数据表按时间、地域或其他逻辑划分为多个分区，便于归档存储。 无论是对数据进行读取还是写入，系统都会生成数据的快照，确保在归档运行过程中，所有的操作都能以一致的状态访问到数据。这种特性在处理历史数据时尤其重要，能够保证归档时的数据完整性，避免数据的丢失与重复。 使用MVCC保证数据在归档过程中的一致性，避免可能的数据竞争问题。启用数据加密存储，对敏感的归档数据进行保护，确保数据安全。设置监控与审计规则，及时识别和响应归档过程中的异常情况。
14600编辑于 2025-07-16- 来自专栏SAP升级
如何将SAP归档数据合并到数据湖中
没有SAP数据的数据湖业务价值是什么？没有SAP历史档案的SAP数据的价值是什么?由于SAP HANA的成本不断上升，SAP S/4HANA中的业务数据通常在2年后就会被归档。 Outboard ERP归档可以迁移或归档SAP过时的数据到企业数据湖。 通过 SAP 事务访问的归档数据，可通过 ArchiveLink 访问。与传统归档解决方案相比，基于数据湖技术实现更快的访问速度。 SAP连接数据湖(SAP HANA和SAP历史档案)越来越多的公司希望在任何数据湖技术中启用所有企业数据，Outboard ERP归档是一种整体的归档解决方案，可以根据其使用情况或数据年限在SAP数据库和外部存储之间移动数据 在日常运行期间，活动数据保留在数据库中，冷数据或旧数据被存档。归档数据仍然可以用于报告。
1.4K20编辑于 2023-02-14 - 来自专栏Django中文社区
分类与归档
侧边栏已经正确地显示了最新文章列表、归档、分类等信息。现在来完善归档和分类功能，当用户点击归档下的某个日期或者分类下的某个分类时，跳转到文章列表页面，显示该日期或者分类下的全部文章。 P<month>[0-9]{1,2})/$', views.archives, name='archives'), ] 这个归档视图对应的 URL 的正则表达式和 detail 视图函数对应的 URL P<month>[0-9]{1,2})/$，假设 date.year=2017，date.month=5，那么 {% url 'blog:archives' date.year date.month % render(request, 'blog/index.html', context={'post_list': post_list}) 这里我们首先根据传入的 pk 值（也就是被访问的分类的 id 值）从数据库中获取到这个分类 P<month>[0-9]{1,2})/$', views.archives, name='archives'), + url(r'^category/(?
2K90发布于 2018-04-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号