- 综合排序
- 最热优先
- 最新优先
- 来自专栏AustinDatabases
从MYSQL 数据库归档 到 归档设计
4 自己设计数据归档 自己设计数据归档的面就广了，有使用程序来做的，例如JAVA ，Python等等，也有使用存储过程来进行的。 ，或者数据过期时间 同时归档表是否必须是全量的数据归档，还是可以抛弃一些数据，例如有一些日志的归档中可能存在一些无用的数据，是否还必须全量的归档等等都是要考虑的问题，归档数据并不一定是原封不动的归档 2 归档的数据量，数据归档一般根据上面的东西，归档有一次性归档，和规律有固定日期的归档，一次性的归档一般归档的数据量比较大，而有规律的归档则归档的数据量并不大，对比两者的方式，其实定期归档（有规律）的要有优势一些 3 归档的方法，自己定义数据的归档方面，可以每次归档将数据灌入一个表，也可以定期的将数据写入不同的归档表，例如已归档日期和后缀的方式来将每次写入的数据进行分割，或者建立分区表的方式来进行归档。 4 归档的方式是否灵活，有的归档的方法仅仅针对一个表来进行归档，有的方法是可以灵活配置，可以任意扩展。
6.1K41发布于 2020-04-24 - 来自专栏Netkiller
日志归档与数据挖掘
日志归档与数据挖掘 摘要 2013-03-19 第一版 2014-12-16 第二版 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller 什么日志归档 2. 为什么要做日志归档 3. 何时做日志归档 4. 归档日志放在哪里 5. 谁去做日志归档 6. 怎样做日志归档 6.2.1. 软件安装 6.2.2. 节点推送端 6.2.3. 什么日志归档 归档，是指将日志整理完毕且有保存价值的文件，经系统整理交日志服务器保存的过程。 2. 为什么要做日志归档 随时调出历史日志查询。 通过日志做数据挖掘，挖掘有价值的数据。 何时做日志归档 日志归档应该是企业规定的一项制度(“归档制度”)，系统建设之初就应该考虑到日志归档问题。如果你的企业没有这项工作或制度，在看完本文后建议你立即实施。 4. 将日志放入数据库 将WEB服务器日志通过管道处理然后写入数据库 处理程序源码 $ vim match.d import std.regex; import std.stdio; import std.string
1.6K100发布于 2018-03-05 - 来自专栏ShaoYL
归档
归档 基本概念 - 对象归档是指将对象写入文件保存在硬盘上，当再次重新打开程序时，可以还原这些对象。你也可以称他为对象序列化，对象持久化。 数据持久性的方式 NSKeyedArchiver --- 对象归档 NSUserDefaults 属性列表化（NSArray、NSDictionary保存文件） SQlite数据库、Core Data数据库 归档的形式 对Foundation库中对象进行归档 自定义对象进行归档（需要实现归档协议，NSCoding） 归档后的文件是加密的，属性列表是明文的。 示例 归档（序列化） //对数组进行归档，归档文件名为temparray 后缀名可以任意 NSString *homeDirectory = NSHomeDirectory(); NSArray * %@",unArray); 自定义内容归档示例 归档 使用 NSData 实例作为归档的存储数据 添加归档的内容（设置key与value） 完成归档 将归档数据存入磁盘中 解归档 从磁盘读取文件，生成
1.6K60发布于 2018-05-11 - 来自专栏每日一篇技术文章
归档
什么是tar 内容写入归档 如何从本地磁盘读取归档文件的内容呢？ 什么是tar ? = nil { log.Fatalln(err) } } // 4. 确保在Close时检查错误。 if err := tw.Close(); err ! (buf) 参数是一个缓冲类型的指针 3.写入归档文件时 需要先创建一个文档的头部 tar.Header 添加相应的参数 比如文件的名称 文件长度 和模式等等 4.内容全部写入归档缓冲区后,请调用close = nil { log.Fatalln(err) } // 4.读取内容 buf := new(bytes.Buffer) if _, err ，参数就是从磁盘读到的缓冲区的字节流 3.tr.Next()表示移动到读取下一个归档文件的入口 4.buf := new(bytes.Buffer) 创建一个内容接受缓冲区 io.Copy(buf,
1.6K20发布于 2019-05-26 - 来自专栏运维监控日志分析
Logstash 索引数据按周归档
背景 日志分析平台对网络设备和服务器日志进行收集时发现索引数据按天归档单个索引的大小能控制在1G 以内，ELk集群产生的索引数量过多，于是决定将索引数据归档规则改为按周归档。 索引按天归档 index => "networklogs-%{+YYYY.MM.dd}" 索引按周归档 index => "ism-prod-networklogs-%{+YYYY.ww}" 数据格式 /usr/bin/bash t1=`date -d "-2 week" +"%V"` date=`date +%Y` curl -u elastic:R4a873O589Xt4HKcFPY2 -XGET LINE do if [ $LINE -le $t1 ]; then echo "$LINE时间早于$t1，进行索引删除" curl -u elastic:R4a873O589Xt4HKcFPY2
1.7K10发布于 2021-01-08 - 来自专栏MySQL解决方案工程师
MySQL审计数据归档演示
将展示一些的其他技巧包括： 从JSON审计数据中提取行–使用JSON_TABLE函数将JSON数据转换为表格式。 将这些行从已审计的数据库插入到审计数据归档的MySQL数据库中。 这只是一种可能的设计模式，可以轻松地进行第三方集成或更改为将数据写入对象存储或某些其他审计数据存储库。 在术语方面，我将合并审计数据的服务器称为“归档服务器”。 步骤1 –审计归档数据库设置。 COLLATE=utf8mb4_0900_ai_ci; 步骤2 –在归档服务器上 首先创建帐户。 ) 好了，现在我需要看看我是否有之前的归档数据——这样我就可以指出审计数据中我需要开始读取更新数据的地方。如果归档不包含此实例的数据—我将从日志数据的开头开始。
1.5K40发布于 2020-11-09 物联网数据归档方案选择分析
最近在做数据统计分析。我在做数据分析时候，需要设计归档表。有两种方式， 方式1：年月日。 其中，日表是每小时数据，每台设备有24条数据 月表是每天数据，每台设备根据实际月天数插入 年表是每月数据，每台设备有12条数据。 方式2：年月日时。 上面两种方案，哪个更符合物联网中归档数据方案？在物联网(IoT)归档数据场景中，方式2（年月日时分区）通常是更优且更符合行业实践的选择。 以下是详细分析和建议：核心原因：时序数据特性与查询效率分区粒度匹配数据生成频率IoT设备按小时（甚至更细粒度）产生数据，小时表直接对应原始数据粒度，写入时天然对齐分区，避免跨分区插入。 典型IoT查询场景：存储管理灵活性冷热数据分层：方式2可按小时/日/月分区独立设置存储策略（如SSD存最近7天热数据，HDD存历史数据）。
37610编辑于 2025-06-06- 来自专栏DBA实战
PT-archiver数据归档-重构版
背景： 一张大表，我们姑且说1亿条记录，原表我要保存近7天的数据。Percona pt-archiver工具是这样做的，逐条把历史数据insert到归档表，同时删除原表数据。 4、拷贝原表数据到临时表（默认1000条一批次插入并休眠1秒） INSERT LOW_PRIORITY IGNORE INTO ${mysql_database}. 注：考虑到删库跑路等安全性问题，工具没有对原表进行任何删除归档数据的操作。 数据库归档按天：10天前的（ create_time>=2024-03-09） [root@test19-server07 pt-archiver-master]# php pt-archiver.php global show_compatibility_56=on; mysql> set global sql_mode=''; 原生工具 pt-archiver 进行分批缓慢删除: 如果对原表进行删除归档数据
49710编辑于 2024-09-10 - 来自专栏编程之旅
iOS开发——数据持久化之归档
在实际的项目开发中，数据持久化是我们必须要考虑的一个事情，如何把我们需要的数据进行持久化处理。 既然涉及到了Model类的对象，就要考虑用归档（NSKeyedArchiver）来处理它了。NSKeyedArchiver能够存储的数据范围很广，因为它对应着MVC中的Model层，即实体类。 那么对自定义对象的归档显得重要的多，因为很多时候我们都要在程序退出时保存数据，再程序恢复时重新加载，那么，归档便是一个好的选择。 接下来我们来讲讲NSKeyedArchiver的使用。 ，就需要在归档和解档之前先实现父类的归档和解档方法。 以上就是最简单的归档解档数据持久化的实现方式，至于如何用runtime进行自动归档解档，就又需要日后深入研究了。
83010发布于 2018-08-30 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(二)、zipfile
It can handle ZIP files that use the ZIP64 extensions (that is ZIP files that are more than 4 GiB in default) zipfile will create ZIP files that use the ZIP64 extensions when the zipfile is larger than 4 of six values:IndexValue0Year (>= 1980)1Month (one-based)2Day of month (one-based)3Hours (zero-based)4Minutes
1.4K30编辑于 2022-09-03 - 来自专栏科控自动化
C#读取WinCC变量归档数据
如何在Visual Studio 2019中编写一个C#应用程序，通过WinCC的 OLE DB接口读取设定时间范围内的WinCC变量归档数据。 3 <访问远程计算机的 WinCC 归档数据的注意事项> <如果 C#应用程序和 WinCC 项目不在同一台计算机，那么需要满足以下条件： 1、如果 C#应用程序所在计算机没有安装 WinCC 或者 DataMonitor v 在 C#应用程序中遍历 SQL Server 中所有的数据库名称，从中选择以字母“CC”开头并以字母“R”结尾的数据库名称。
5.1K12编辑于 2022-03-29 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(三)、tarfile
The tarfile module makes it possible to read and write tar archives, including those using gzip, bz2 and lzma compression. Use the zipfile module to read or write .zip files, or the higher-level functions in shutil.
1.1K20编辑于 2022-09-03 - 来自专栏AustinDatabases
PostgreSQL 数据库归档最近被问及的问题问题 与 4 毋 处世学
一般来讲我们认为日志本身的内容占据WAL的数据的内容的30%，而FULL PAGE 的部分占据70%左右的数据，所以PG的WAL归档是一个必须的操作，即时的解决你的磁盘空间重复利用的问题。 所有产生数据归档的触发点很多，总结一点产生wal 文件的时候就会触发归档命令。 这里还有一些细节 1 归档如果失败，则归档会持续的被触发，错误日志中会记录归档失败的信息。 ，在这样的方案中，数据库并没有设定具体怎么去归档，这里比如有传统的方案，S3方案，或者脚本的方案等等，所以归档这个事情是需要自行进行设计和根据自己的情况来进行安排的。 4 在归档中，会出现一些问题，比如数据库恢复后，在进行归档发现归档文件中已经有这个文件了，那么归档必然失败，所以需要手动处理一下，将重复的文件进行清理，然后就可以正常归档了。 写到这里并没有完，实际上我们在数据归档后还需要对归档后的文件进行清理，大多数的情况下，清理归档文件是通过手动，通过归档文件的日期来进行清理，利用磁盘空间和存储有效的数据归档文件。
85810编辑于 2024-01-03 - 来自专栏XBD
tar - 归档
参数 说明 z 创建 gzip 格式的压缩包 j 创建 bz2 格式的压缩包 J 创建 xz 格式的压缩包 x 解压一个压缩包 c 创建一个压缩包 t 查看压缩包的内容 r 把文件追加到压缩包末尾 u 用新的文件替换压缩包中的旧文件 # 创建一个压缩包，排除一些文件 tar zcvf data.tar.gz -T /root/aa -X /root/bb -T：指定需要压缩的目录或文件，需要绝对路径 -X：指定需要排除的文件或目录，需要绝对路径
1.8K10编辑于 2022-10-27 - 来自专栏SAP ERP管理实践
SAP 物料主数据归档操作笔记
1.MM06标记删除 先用MM06做删除标记，特别注意归档和物理删除是有条件的，如有业务数据是不能进行删除的，要把其它业务数据先做删除或归档处理 ? 在物料的选项框中打勾说明要进行删除物料 ? 2.SARA 归档删除 应用 SARA 进行归档和删除，先归档后删除 ? 点击归档按钮进入MM71如是物料主记录归档，如是其它事务代码是不同的，SARA是一个归档集中器，可以调用不同的归档事务 ? 点击 删除按钮，进入到下列界面，点击归档选择 ? 点击归档选择，点选 下面的两个方框 ? 点击 确认按钮就进行物料删除了，你的任务就完成了，应用MM03是看不到了的，其它的归档原理相同，只是删除的对象不同而矣
3.6K51发布于 2019-05-29 YashanDB归档管理
当故障发生时，可以通过历史全量数据数据备份以及归档的redo日志文件重做完成数据库重建。 /archive 2.修改归档路径：通过SQL语句修改归档路径，重启数据库后生效。 、主备共享集群部署）时，无法从归档模式切换为非归档模式ALTER DATABASE NOARCHIVELOG;4.归档模式查看：-- 查看当前数据库的归档模式SELECT database_name,log_mode 清理归档的原则：归档日志不被数据库回放需要，即小于数据库的回放点，这样的归档才可以被清理。可以从V$DATABASE视图的RCY_POINT获取数据库的当前回放点。 若在备份集后生成的归档日志和在线日志连续且完整，可通过指定时间点使数据库继续恢复至任意时间点；若备份集之后的归档日志被清理，则数据库无法继续恢复至任意时间点。
51610编辑于 2025-03-28- 来自专栏剑指工控
PCS7+（WINCC）数据归档与备份
一 PCS7 的数据归档 1.PCS7 变量记录归档机制： PCS7 归档分为快速归档和慢速归档。根据标签的采集周期，对数据进行快速或者慢速归档。 否则，如果采集周期大于 1 分钟，则在“ Tag Logging Slow”慢速归档中对数据进行归档。平常我们所看到的历史曲线都是快速归档，每 2S 采集一次数据。 更改分段的时间，比如 2017 年 3 月 4 日 5 点 22 分，则决定了单个数据文件分段的时间点，比如每天到了 5:22 或者该文件大小大于设置的 100M，则形成一个新的文件。 二 PCS7 数据归档备份与恢复测试方案 测试说明： 后缀为.ldf 格式的文件为日志文件，后缀为.mdf 格式的文件为数据文件，同样归档类型的文件，例如报警归档、慢速归档、快速归档，每次都会生成两个时间标志相同 步骤 4.检查相应的默认备份路径 HIS BAK 及远程备份路径下\\ES1\F\HIS BAK 是否有生成新的归档文件。测试归档备份路径的有效性。
6.3K22发布于 2021-11-09 - 来自专栏物联网
物联网数据归档之数据存储方案选择分析
在上一篇文章中《物联网数据归档方案选择分析》中凯哥分析了归档设计的两种方案，并对两种方案进行了对比。这篇文章咱们就来分析分析，归档后数据应该存储在哪里？及存储方案对比。 这里就选择常用的mysql及taos数据库来存储归档后的数据吧。你在处理设备归档表存储方案时对MySQL和TDengine的对比考量很关键，这直接关系到系统长期的可扩展性和运维成本。 ，减少事务开销异步写入：用Kafka等消息队列缓冲写入，避免直接冲击数据库存储治理热数据：存MySQL（近3个月）冷数据：转储至对象存储（如S3），通过外部表查询 冷热分离：定期归档：将超期数据迁移到历史表 ：存储效率：同设备同时间戳指标合并存储，压缩率可达MySQL的 1/4~1/1010查询语义优化：原生支持LAST(device_id)查最新状态、INTERVAL时间窗口聚合10水平扩展：添加节点即可线性提升吞吐 TDengine 9 总结：以终为始设计归档策略选型本质：本质上是 “存储成本 vs 开发运维成本” 的权衡：MySQL入门简单但扩展贵，TDengine学习曲线陡峭但长期性价比高。
64210编辑于 2025-06-10 如何利用YashanDB进行高效数据归档管理
在这种背景下，数据归档管理显得尤为重要。归档数据不仅能够优化存储资源的使用，还可以提高查询性能和数据安全性。YashanDB作为一种高性能的数据库解决方案，提供了多种特性来支持高效的数据归档管理。 比如，用户可以设置特定的时间点或数据状态触发数据归档操作。同时，借助于分区管理，用户能够将数据表按时间、地域或其他逻辑划分为多个分区，便于归档存储。 无论是对数据进行读取还是写入，系统都会生成数据的快照，确保在归档运行过程中，所有的操作都能以一致的状态访问到数据。这种特性在处理历史数据时尤其重要，能够保证归档时的数据完整性，避免数据的丢失与重复。 4. 安全与加密性能在数据归档管理中，安全性是一个重要的考量。YashanDB提供了对数据的加密存储支持。 使用MVCC保证数据在归档过程中的一致性，避免可能的数据竞争问题。启用数据加密存储，对敏感的归档数据进行保护，确保数据安全。设置监控与审计规则，及时识别和响应归档过程中的异常情况。
14300编辑于 2025-07-16- 来自专栏SAP升级
如何将SAP归档数据合并到数据湖中
没有SAP数据的数据湖业务价值是什么？没有SAP历史档案的SAP数据的价值是什么?由于SAP HANA的成本不断上升，SAP S/4HANA中的业务数据通常在2年后就会被归档。 Outboard ERP归档可以迁移或归档SAP过时的数据到企业数据湖。 通过 SAP 事务访问的归档数据，可通过 ArchiveLink 访问。与传统归档解决方案相比，基于数据湖技术实现更快的访问速度。 绝大多数使用S/4HANA或计划迁移到S/4HANA的SAP客户需要显著减少其HANA占用空间，关闭的业务文档将在两年后会尽快存档。 在日常运行期间，活动数据保留在数据库中，冷数据或旧数据被存档。归档数据仍然可以用于报告。
1.4K20编辑于 2023-02-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号