- 综合排序
- 最热优先
- 最新优先
- 来自专栏AustinDatabases
从MYSQL 数据库归档 到 归档设计
3 数据通过工具的方式来进行处理，例如pt-archiver 的方式来进行数据的归档和清理，但这个工具貌似bug不少，pt-1126 ? ，或者数据过期时间 同时归档表是否必须是全量的数据归档，还是可以抛弃一些数据，例如有一些日志的归档中可能存在一些无用的数据，是否还必须全量的归档等等都是要考虑的问题，归档数据并不一定是原封不动的归档 2 归档的数据量，数据归档一般根据上面的东西，归档有一次性归档，和规律有固定日期的归档，一次性的归档一般归档的数据量比较大，而有规律的归档则归档的数据量并不大，对比两者的方式，其实定期归档（有规律）的要有优势一些 3 归档的方法，自己定义数据的归档方面，可以每次归档将数据灌入一个表，也可以定期的将数据写入不同的归档表，例如已归档日期和后缀的方式来将每次写入的数据进行分割，或者建立分区表的方式来进行归档。 3 为什么要用MYSQL 存储过程来做，使用python不是更灵活 其实一言难尽，都和需求有关，所以很多设计出来的东西，外人一看一堆毛病，如果你进入到他的内部，一段时间估计你就懂得为什么会设计出这样或那样的东西
6.1K41发布于 2020-04-24 - 来自专栏Netkiller
日志归档与数据挖掘
日志归档与数据挖掘 摘要 2013-03-19 第一版 2014-12-16 第二版 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller 什么日志归档 2. 为什么要做日志归档 3. 何时做日志归档 4. 归档日志放在哪里 5. 谁去做日志归档 6. 怎样做日志归档 6.2.1. 软件安装 6.2.2. 节点推送端 6.2.3. 什么日志归档 归档，是指将日志整理完毕且有保存价值的文件，经系统整理交日志服务器保存的过程。 2. 为什么要做日志归档 随时调出历史日志查询。 通过日志做数据挖掘，挖掘有价值的数据。 查看应用程序的工作状态 3. 何时做日志归档 日志归档应该是企业规定的一项制度(“归档制度”)，系统建设之初就应该考虑到日志归档问题。如果你的企业没有这项工作或制度，在看完本文后建议你立即实施。 将日志放入数据库 将WEB服务器日志通过管道处理然后写入数据库 处理程序源码 $ vim match.d import std.regex; import std.stdio; import std.string
1.6K100发布于 2018-03-05 - 来自专栏ShaoYL
归档
归档 基本概念 - 对象归档是指将对象写入文件保存在硬盘上，当再次重新打开程序时，可以还原这些对象。你也可以称他为对象序列化，对象持久化。 数据持久性的方式 NSKeyedArchiver --- 对象归档 NSUserDefaults 属性列表化（NSArray、NSDictionary保存文件） SQlite数据库、Core Data数据库 归档的形式 对Foundation库中对象进行归档 自定义对象进行归档（需要实现归档协议，NSCoding） 归档后的文件是加密的，属性列表是明文的。 示例 归档（序列化） //对数组进行归档，归档文件名为temparray 后缀名可以任意 NSString *homeDirectory = NSHomeDirectory(); NSArray * %@",unArray); 自定义内容归档示例 归档 使用 NSData 实例作为归档的存储数据 添加归档的内容（设置key与value） 完成归档 将归档数据存入磁盘中 解归档 从磁盘读取文件，生成
1.6K60发布于 2018-05-11 - 来自专栏每日一篇技术文章
归档
什么是tar 内容写入归档 如何从本地磁盘读取归档文件的内容呢？ 什么是tar ? tw := tar.NewWriter(buf) // 3.将一些文件添加到存档中。 (buf) 参数是一个缓冲类型的指针 3.写入归档文件时 需要先创建一个文档的头部 tar.Header 添加相应的参数 比如文件的名称 文件长度 和模式等等 4.内容全部写入归档缓冲区后,请调用close (r) // 3.迭代档案中的文件。 ，参数就是从磁盘读到的缓冲区的字节流 3.tr.Next()表示移动到读取下一个归档文件的入口 4.buf := new(bytes.Buffer) 创建一个内容接受缓冲区 io.Copy(buf,
1.6K20发布于 2019-05-26 - 来自专栏运维监控日志分析
Logstash 索引数据按周归档
背景 日志分析平台对网络设备和服务器日志进行收集时发现索引数据按天归档单个索引的大小能控制在1G 以内，ELk集群产生的索引数量过多，于是决定将索引数据归档规则改为按周归档。 索引按天归档 index => "networklogs-%{+YYYY.MM.dd}" 索引按周归档 index => "ism-prod-networklogs-%{+YYYY.ww}" 数据格式 -u elastic:R4a873O589Xt4HKcFPY2 -XGET http://192.168.99.185:9200/_cat/indices | awk -F" " '{print $3}
1.7K10发布于 2021-01-08 - 来自专栏MySQL解决方案工程师
MySQL审计数据归档演示
将展示一些的其他技巧包括： 从JSON审计数据中提取行–使用JSON_TABLE函数将JSON数据转换为表格式。 将这些行从已审计的数据库插入到审计数据归档的MySQL数据库中。 这只是一种可能的设计模式，可以轻松地进行第三方集成或更改为将数据写入对象存储或某些其他审计数据存储库。 在术语方面，我将合并审计数据的服务器称为“归档服务器”。 步骤1 –审计归档数据库设置。 ; grant select, insert on audit_archive.audit_data to auditarchiver; 步骤3 –对于每台服务器读取（拉出）审计数据–创建auditreader ) 好了，现在我需要看看我是否有之前的归档数据——这样我就可以指出审计数据中我需要开始读取更新数据的地方。如果归档不包含此实例的数据—我将从日志数据的开头开始。
1.5K40发布于 2020-11-09 物联网数据归档方案选择分析
最近在做数据统计分析。我在做数据分析时候，需要设计归档表。有两种方式， 方式1：年月日。 其中，日表是每小时数据，每台设备有24条数据 月表是每天数据，每台设备根据实际月天数插入 年表是每月数据，每台设备有12条数据。 方式2：年月日时。 上面两种方案，哪个更符合物联网中归档数据方案？在物联网(IoT)归档数据场景中，方式2（年月日时分区）通常是更优且更符合行业实践的选择。 以下是详细分析和建议：核心原因：时序数据特性与查询效率分区粒度匹配数据生成频率IoT设备按小时（甚至更细粒度）产生数据，小时表直接对应原始数据粒度，写入时天然对齐分区，避免跨分区插入。 典型IoT查询场景：存储管理灵活性冷热数据分层：方式2可按小时/日/月分区独立设置存储策略（如SSD存最近7天热数据，HDD存历史数据）。
37610编辑于 2025-06-06- 来自专栏DBA实战
PT-archiver数据归档-重构版
背景： 一张大表，我们姑且说1亿条记录，原表我要保存近7天的数据。Percona pt-archiver工具是这样做的，逐条把历史数据insert到归档表，同时删除原表数据。 CREATE TABLE IF NOT EXISTS ${mysql_table}_tmp like ${mysql_table}; 3、在原表上创建增，删，改三个触发器将数据拷贝的过程中，原表产生的数据变更更新到临时表里 ； （3）DELETE操作，原表有删除操作，会触发至临时表执行删除。 注：考虑到删库跑路等安全性问题，工具没有对原表进行任何删除归档数据的操作。 数据库归档按天：10天前的（ create_time>=2024-03-09） [root@test19-server07 pt-archiver-master]# php pt-archiver.php
49710编辑于 2024-09-10 - 来自专栏Zkeq
归档 | 使用Javascript获取m3u8
;3 o="#1p\\n";n.K(7(b,c){3 e=b.l;3 f="R://z.J.S.T/1q";3 h=f+e;L{3 t=D.E.F.8.G.8.H.I.1r.z.t;h=f+e+"%1s b=6.V("U")[0];3 c=6.Q("19");c.L=a;b.S(c)}7 W(e){3 x=e.H.1V.1W;3 y=0;x.17(7(m,n){J(m.21){3 o=m.23;3 p= "#25\\n";o.17(7(b,c){3 f=b.l;y+=b.b;3 h="R://H.11.M.C/29";3 i=h+f;2a{3 t=e.H.2c.H.t;3 j=N("D",8.I);3 ,{38:"1k/39"});3 r=3a.3b(q);3 s=(7.14.T("-")! ");u.19=r;u.3h=s;u.3i.3j="3k";3 v;8(A.2c){v=C 2c("2d")}1u{v=7.3l("3m");v.3n("2d",3o,D,A,0,0,0,0,0,D,D
12.2K30编辑于 2022-05-18 - 来自专栏编程之旅
iOS开发——数据持久化之归档
在实际的项目开发中，数据持久化是我们必须要考虑的一个事情，如何把我们需要的数据进行持久化处理。 既然涉及到了Model类的对象，就要考虑用归档（NSKeyedArchiver）来处理它了。NSKeyedArchiver能够存储的数据范围很广，因为它对应着MVC中的Model层，即实体类。 那么对自定义对象的归档显得重要的多，因为很多时候我们都要在程序退出时保存数据，再程序恢复时重新加载，那么，归档便是一个好的选择。 接下来我们来讲讲NSKeyedArchiver的使用。 ，就需要在归档和解档之前先实现父类的归档和解档方法。 以上就是最简单的归档解档数据持久化的实现方式，至于如何用runtime进行自动归档解档，就又需要日后深入研究了。
83010发布于 2018-08-30 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(二)、zipfile
This may be set from 0 (the default, no output) to 3 (the most output). This is a tuple of six values:IndexValue0Year (>= 1980)1Month (one-based)2Day of month (one-based)3Hours
1.4K30编辑于 2022-09-03 - 来自专栏科控自动化
C#读取WinCC变量归档数据
如何在Visual Studio 2019中编写一个C#应用程序，通过WinCC的 OLE DB接口读取设定时间范围内的WinCC变量归档数据。 3 <访问远程计算机的 WinCC 归档数据的注意事项> <如果 C#应用程序和 WinCC 项目不在同一台计算机，那么需要满足以下条件： 1、如果 C#应用程序所在计算机没有安装 WinCC 或者 DataMonitor v 在 C#应用程序中遍历 SQL Server 中所有的数据库名称，从中选择以字母“CC”开头并以字母“R”结尾的数据库名称。
5.1K12编辑于 2022-03-29 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(三)、tarfile
useful for reading concatenated or damaged archives.debug can be set from 0 (no debug messages) up to 3
1.1K20编辑于 2022-09-03 - 来自专栏XBD
tar - 归档
参数 说明 z 创建 gzip 格式的压缩包 j 创建 bz2 格式的压缩包 J 创建 xz 格式的压缩包 x 解压一个压缩包 c 创建一个压缩包 t 查看压缩包的内容 r 把文件追加到压缩包末尾 u 用新的文件替换压缩包中的旧文件 # 创建一个压缩包，排除一些文件 tar zcvf data.tar.gz -T /root/aa -X /root/bb -T：指定需要压缩的目录或文件，需要绝对路径 -X：指定需要排除的文件或目录，需要绝对路径
1.8K10编辑于 2022-10-27 - 来自专栏SAP ERP管理实践
SAP 物料主数据归档操作笔记
1.MM06标记删除 先用MM06做删除标记，特别注意归档和物理删除是有条件的，如有业务数据是不能进行删除的，要把其它业务数据先做删除或归档处理 ? 在物料的选项框中打勾说明要进行删除物料 ? 2.SARA 归档删除 应用 SARA 进行归档和删除，先归档后删除 ? 点击归档按钮进入MM71如是物料主记录归档，如是其它事务代码是不同的，SARA是一个归档集中器，可以调用不同的归档事务 ? 点击 删除按钮，进入到下列界面，点击归档选择 ? 点击归档选择，点选 下面的两个方框 ? 点击 确认按钮就进行物料删除了，你的任务就完成了，应用MM03是看不到了的，其它的归档原理相同，只是删除的对象不同而矣
3.6K51发布于 2019-05-29 YashanDB归档管理
当故障发生时，可以通过历史全量数据数据备份以及归档的redo日志文件重做完成数据库重建。 3.查看配置是否生效：show parameter ARCHIVE_LOCAL_DEST; NAME VALUE ----------------- username/password3.调整到归档模式：-- 从非归档模式调整到归档模式ALTER DATABASE ARCHIVELOG;-- 从归档模式调整到非归档模式，当数据库处于主备复制模式（单机主备部署 清理归档的原则：归档日志不被数据库回放需要，即小于数据库的回放点，这样的归档才可以被清理。可以从V$DATABASE视图的RCY_POINT获取数据库的当前回放点。 若在备份集后生成的归档日志和在线日志连续且完整，可通过指定时间点使数据库继续恢复至任意时间点；若备份集之后的归档日志被清理，则数据库无法继续恢复至任意时间点。
51610编辑于 2025-03-28- 来自专栏剑指工控
PCS7+（WINCC）数据归档与备份
一 PCS7 的数据归档 1.PCS7 变量记录归档机制： PCS7 归档分为快速归档和慢速归档。根据标签的采集周期，对数据进行快速或者慢速归档。 否则，如果采集周期大于 1 分钟，则在“ Tag Logging Slow”慢速归档中对数据进行归档。平常我们所看到的历史曲线都是快速归档，每 2S 采集一次数据。 更改分段的时间，比如 2017 年 3 月 4 日 5 点 22 分，则决定了单个数据文件分段的时间点，比如每天到了 5:22 或者该文件大小大于设置的 100M，则形成一个新的文件。 步骤 3. 如果试验结果符合上面的描述，则表明归档文件数据有效，备份有效。 下图为 CommonArchiving 文件夹内容截图： 步骤 3.
6.3K22发布于 2021-11-09 - 来自专栏物联网
物联网数据归档之数据存储方案选择分析
在上一篇文章中《物联网数据归档方案选择分析》中凯哥分析了归档设计的两种方案，并对两种方案进行了对比。这篇文章咱们就来分析分析，归档后数据应该存储在哪里？及存储方案对比。 这里就选择常用的mysql及taos数据库来存储归档后的数据吧。你在处理设备归档表存储方案时对MySQL和TDengine的对比考量很关键，这直接关系到系统长期的可扩展性和运维成本。 ，针对时间戳、设备ID、指标值优化 18写入性能单点写入瓶颈（约1万~5万条/秒）分布式写入，可达百万条/秒 10存储效率压缩率低（原始数据的3~5倍）高效压缩（5~10倍，尤其适合重复时间戳）10查询性能时间范围聚合慢 ，减少事务开销异步写入：用Kafka等消息队列缓冲写入，避免直接冲击数据库存储治理热数据：存MySQL（近3个月）冷数据：转储至对象存储（如S3），通过外部表查询 冷热分离：定期归档：将超期数据迁移到历史表 MySQL，指标数据入TDengine 9 总结：以终为始设计归档策略选型本质：本质上是 “存储成本 vs 开发运维成本” 的权衡：MySQL入门简单但扩展贵，TDengine学习曲线陡峭但长期性价比高
64210编辑于 2025-06-10 如何利用YashanDB进行高效数据归档管理
在这种背景下，数据归档管理显得尤为重要。归档数据不仅能够优化存储资源的使用，还可以提高查询性能和数据安全性。YashanDB作为一种高性能的数据库解决方案，提供了多种特性来支持高效的数据归档管理。 比如，用户可以设置特定的时间点或数据状态触发数据归档操作。同时，借助于分区管理，用户能够将数据表按时间、地域或其他逻辑划分为多个分区，便于归档存储。 通过指定数据的移动与归档条件，YashanDB使得对历史数据的访问保持高效，且不影响主业务数据的性能。3. 无论是对数据进行读取还是写入，系统都会生成数据的快照，确保在归档运行过程中，所有的操作都能以一致的状态访问到数据。这种特性在处理历史数据时尤其重要，能够保证归档时的数据完整性，避免数据的丢失与重复。 使用MVCC保证数据在归档过程中的一致性，避免可能的数据竞争问题。启用数据加密存储，对敏感的归档数据进行保护，确保数据安全。设置监控与审计规则，及时识别和响应归档过程中的异常情况。
14300编辑于 2025-07-16- 来自专栏SAP升级
如何将SAP归档数据合并到数据湖中
Outboard ERP归档可以迁移或归档SAP过时的数据到企业数据湖。 通过 SAP 事务访问的归档数据，可通过 ArchiveLink 访问。与传统归档解决方案相比，基于数据湖技术实现更快的访问速度。 考虑到这一点，很难想象没有来自历史SAP存档的数据（3-10年前的业务数据）的数据湖和大数据分析。 SAP连接数据湖(SAP HANA和SAP历史档案)越来越多的公司希望在任何数据湖技术中启用所有企业数据，Outboard ERP归档是一种整体的归档解决方案，可以根据其使用情况或数据年限在SAP数据库和外部存储之间移动数据 在日常运行期间，活动数据保留在数据库中，冷数据或旧数据被存档。归档数据仍然可以用于报告。
1.4K20编辑于 2023-02-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号