- 综合排序
- 最热优先
- 最新优先
- 来自专栏AustinDatabases
从MYSQL 数据库归档 到 归档设计
4 自己设计数据归档 自己设计数据归档的面就广了，有使用程序来做的，例如JAVA ，Python等等，也有使用存储过程来进行的。 ，或者数据过期时间 同时归档表是否必须是全量的数据归档，还是可以抛弃一些数据，例如有一些日志的归档中可能存在一些无用的数据，是否还必须全量的归档等等都是要考虑的问题，归档数据并不一定是原封不动的归档 2 归档的数据量，数据归档一般根据上面的东西，归档有一次性归档，和规律有固定日期的归档，一次性的归档一般归档的数据量比较大，而有规律的归档则归档的数据量并不大，对比两者的方式，其实定期归档（有规律）的要有优势一些 3 归档的方法，自己定义数据的归档方面，可以每次归档将数据灌入一个表，也可以定期的将数据写入不同的归档表，例如已归档日期和后缀的方式来将每次写入的数据进行分割，或者建立分区表的方式来进行归档。 而日志表本身就是一个查看归档成功失败的东西，其中的type_s 就是表现数据归档操作状态的东西，通过日志表可以反映归档多少数据，每次操作消耗的时间，以及当前操作获取的系统变量是什么，方便出现故障时，查看到底归档的数据少不少
6K41发布于 2020-04-24 - 来自专栏Netkiller
日志归档与数据挖掘
日志归档与数据挖掘 摘要 2013-03-19 第一版 2014-12-16 第二版 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller 什么日志归档 2. 为什么要做日志归档 3. 何时做日志归档 4. 归档日志放在哪里 5. 谁去做日志归档 6. 怎样做日志归档 6.2.1. 软件安装 6.2.2. 节点推送端 6.2.3. 什么日志归档 归档，是指将日志整理完毕且有保存价值的文件，经系统整理交日志服务器保存的过程。 2. 为什么要做日志归档 随时调出历史日志查询。 通过日志做数据挖掘，挖掘有价值的数据。 何时做日志归档 日志归档应该是企业规定的一项制度(“归档制度”)，系统建设之初就应该考虑到日志归档问题。如果你的企业没有这项工作或制度，在看完本文后建议你立即实施。 4. 将日志放入数据库 将WEB服务器日志通过管道处理然后写入数据库 处理程序源码 $ vim match.d import std.regex; import std.stdio; import std.string
1.6K100发布于 2018-03-05 - 来自专栏ShaoYL
归档
归档 基本概念 - 对象归档是指将对象写入文件保存在硬盘上，当再次重新打开程序时，可以还原这些对象。你也可以称他为对象序列化，对象持久化。 数据持久性的方式 NSKeyedArchiver --- 对象归档 NSUserDefaults 属性列表化（NSArray、NSDictionary保存文件） SQlite数据库、Core Data数据库 归档的形式 对Foundation库中对象进行归档 自定义对象进行归档（需要实现归档协议，NSCoding） 归档后的文件是加密的，属性列表是明文的。 示例 归档（序列化） //对数组进行归档，归档文件名为temparray 后缀名可以任意 NSString *homeDirectory = NSHomeDirectory(); NSArray * %@",unArray); 自定义内容归档示例 归档 使用 NSData 实例作为归档的存储数据 添加归档的内容（设置key与value） 完成归档 将归档数据存入磁盘中 解归档 从磁盘读取文件，生成
1.6K60发布于 2018-05-11 - 来自专栏每日一篇技术文章
归档
什么是tar 内容写入归档 如何从本地磁盘读取归档文件的内容呢？ 什么是tar ? 也是Linux常见的压缩归档的处理方法 内容写入归档 package main import ( "archive/tar" "bytes" "fmt" "io" "log" (buf) 参数是一个缓冲类型的指针 3.写入归档文件时 需要先创建一个文档的头部 tar.Header 添加相应的参数 比如文件的名称 文件长度 和模式等等 4.内容全部写入归档缓冲区后,请调用close ()关闭归档写入 如何将归档后的文件写入磁盘? ioutil.WriteFile("归档",buf.Bytes(),os.ModePerm) ? image.png 如何从本地磁盘读取归档文件的内容呢?
1.5K20发布于 2019-05-26 - 来自专栏运维监控日志分析
Logstash 索引数据按周归档
背景 日志分析平台对网络设备和服务器日志进行收集时发现索引数据按天归档单个索引的大小能控制在1G 以内，ELk集群产生的索引数量过多，于是决定将索引数据归档规则改为按周归档。 索引按天归档 index => "networklogs-%{+YYYY.MM.dd}" 索引按周归档 index => "ism-prod-networklogs-%{+YYYY.ww}" 数据格式
1.7K10发布于 2021-01-08 - 来自专栏MySQL解决方案工程师
MySQL审计数据归档演示
将展示一些的其他技巧包括： 从JSON审计数据中提取行–使用JSON_TABLE函数将JSON数据转换为表格式。 将这些行从已审计的数据库插入到审计数据归档的MySQL数据库中。 这只是一种可能的设计模式，可以轻松地进行第三方集成或更改为将数据写入对象存储或某些其他审计数据存储库。 在术语方面，我将合并审计数据的服务器称为“归档服务器”。 首先让我们以管理员身份登录到归档MySQL服务器实例上–我将使用root。整个示例都需要使用mysql shell。它包括用于从目标服务器提取审计数据进行计划批处理归档的python。 步骤1 –审计归档数据库设置。 ) 好了，现在我需要看看我是否有之前的归档数据——这样我就可以指出审计数据中我需要开始读取更新数据的地方。如果归档不包含此实例的数据—我将从日志数据的开头开始。
1.5K40发布于 2020-11-09 物联网数据归档方案选择分析
最近在做数据统计分析。我在做数据分析时候，需要设计归档表。有两种方式， 方式1：年月日。 其中，日表是每小时数据，每台设备有24条数据 月表是每天数据，每台设备根据实际月天数插入 年表是每月数据，每台设备有12条数据。 方式2：年月日时。 上面两种方案，哪个更符合物联网中归档数据方案？在物联网(IoT)归档数据场景中，方式2（年月日时分区）通常是更优且更符合行业实践的选择。 以下是详细分析和建议：核心原因：时序数据特性与查询效率分区粒度匹配数据生成频率IoT设备按小时（甚至更细粒度）产生数据，小时表直接对应原始数据粒度，写入时天然对齐分区，避免跨分区插入。 典型IoT查询场景：存储管理灵活性冷热数据分层：方式2可按小时/日/月分区独立设置存储策略（如SSD存最近7天热数据，HDD存历史数据）。
36710编辑于 2025-06-06- 来自专栏DBA实战
PT-archiver数据归档-重构版
背景： 一张大表，我们姑且说1亿条记录，原表我要保存近7天的数据。Percona pt-archiver工具是这样做的，逐条把历史数据insert到归档表，同时删除原表数据。 注：考虑到删库跑路等安全性问题，工具没有对原表进行任何删除归档数据的操作。 pt-archiver/archive/refs/heads/master.zip [root@test19-server07 jesong]# unzip pt-archiver-master.zip 执行数据归档按 数据库归档按天：10天前的（ create_time>=2024-03-09） [root@test19-server07 pt-archiver-master]# php pt-archiver.php global show_compatibility_56=on; mysql> set global sql_mode=''; 原生工具 pt-archiver 进行分批缓慢删除: 如果对原表进行删除归档数据
46310编辑于 2024-09-10 - 来自专栏编程之旅
iOS开发——数据持久化之归档
在实际的项目开发中，数据持久化是我们必须要考虑的一个事情，如何把我们需要的数据进行持久化处理。 既然涉及到了Model类的对象，就要考虑用归档（NSKeyedArchiver）来处理它了。NSKeyedArchiver能够存储的数据范围很广，因为它对应着MVC中的Model层，即实体类。 那么对自定义对象的归档显得重要的多，因为很多时候我们都要在程序退出时保存数据，再程序恢复时重新加载，那么，归档便是一个好的选择。 接下来我们来讲讲NSKeyedArchiver的使用。 ，就需要在归档和解档之前先实现父类的归档和解档方法。 以上就是最简单的归档解档数据持久化的实现方式，至于如何用runtime进行自动归档解档，就又需要日后深入研究了。
82510发布于 2018-08-30 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(三)、tarfile
The tarfile module makes it possible to read and write tar archives, including those using gzip, bz2 and lzma compression. Use the zipfile module to read or write .zip files, or the higher-level functions in shutil.
1.1K20编辑于 2022-09-03 - 来自专栏计算机视觉理论及其实现
数据压缩和归档(二)、zipfile
The ZIP file format is a common archive and compression standard. This module provides tools to create, read, write, append, and list a ZIP file. Any advanced use of this module will require an understanding of the format, as defined in PKZIP Application Note.
1.4K30编辑于 2022-09-03 - 来自专栏科控自动化
C#读取WinCC变量归档数据
如何在Visual Studio 2019中编写一个C#应用程序，通过WinCC的 OLE DB接口读取设定时间范围内的WinCC变量归档数据。 3 <访问远程计算机的 WinCC 归档数据的注意事项> <如果 C#应用程序和 WinCC 项目不在同一台计算机，那么需要满足以下条件： 1、如果 C#应用程序所在计算机没有安装 WinCC 或者 DataMonitor v 在 C#应用程序中遍历 SQL Server 中所有的数据库名称，从中选择以字母“CC”开头并以字母“R”结尾的数据库名称。
5.1K12编辑于 2022-03-29 - 来自专栏XBD
tar - 归档
参数 说明 z 创建 gzip 格式的压缩包 j 创建 bz2 格式的压缩包 J 创建 xz 格式的压缩包 x 解压一个压缩包 c 创建一个压缩包 t 查看压缩包的内容 r 把文件追加到压缩包末尾 u 用新的文件替换压缩包中的旧文件 # 创建一个压缩包，排除一些文件 tar zcvf data.tar.gz -T /root/aa -X /root/bb -T：指定需要压缩的目录或文件，需要绝对路径 -X：指定需要排除的文件或目录，需要绝对路径
1.8K10编辑于 2022-10-27 - 来自专栏SAP ERP管理实践
SAP 物料主数据归档操作笔记
1.MM06标记删除 先用MM06做删除标记，特别注意归档和物理删除是有条件的，如有业务数据是不能进行删除的，要把其它业务数据先做删除或归档处理 ? 在物料的选项框中打勾说明要进行删除物料 ? 2.SARA 归档删除 应用 SARA 进行归档和删除，先归档后删除 ? 点击归档按钮进入MM71如是物料主记录归档，如是其它事务代码是不同的，SARA是一个归档集中器，可以调用不同的归档事务 ? 点击 删除按钮，进入到下列界面，点击归档选择 ? 点击归档选择，点选 下面的两个方框 ? 点击 确认按钮就进行物料删除了，你的任务就完成了，应用MM03是看不到了的，其它的归档原理相同，只是删除的对象不同而矣
3.6K51发布于 2019-05-29 - 来自专栏剑指工控
PCS7+（WINCC）数据归档与备份
一 PCS7 的数据归档 1.PCS7 变量记录归档机制： PCS7 归档分为快速归档和慢速归档。根据标签的采集周期，对数据进行快速或者慢速归档。 否则，如果采集周期大于 1 分钟，则在“ Tag Logging Slow”慢速归档中对数据进行归档。平常我们所看到的历史曲线都是快速归档，每 2S 采集一次数据。 上图“归档大小”中“所有分段的时间范围”设置为 1 个月，则归档文件夹 ArchiveManager 中最多存放一个月的数据，多于一个月之前的数据会被最新的数据覆盖掉。 二 PCS7 数据归档备份与恢复测试方案 测试说明： 后缀为.ldf 格式的文件为日志文件，后缀为.mdf 格式的文件为数据文件，同样归档类型的文件，例如报警归档、慢速归档、快速归档，每次都会生成两个时间标志相同 ，虽然生成有慢速归档文件，但其中是没有数据的，因此以下数据恢复测试都使用快速归档 TagLoggingFast 的文件。
6.1K22发布于 2021-11-09 YashanDB归档管理
YashanDB通过开启归档模式来进行redo日志文件自动归档，用以支持生产环境中的数据热备份以及高可用主备部署场景的主备同步。 当故障发生时，可以通过历史全量数据数据备份以及归档的redo日志文件重做完成数据库重建。 /archive 2.修改归档路径：通过SQL语句修改归档路径，重启数据库后生效。 清理归档的原则：归档日志不被数据库回放需要，即小于数据库的回放点，这样的归档才可以被清理。可以从V$DATABASE视图的RCY_POINT获取数据库的当前回放点。 若在备份集后生成的归档日志和在线日志连续且完整，可通过指定时间点使数据库继续恢复至任意时间点；若备份集之后的归档日志被清理，则数据库无法继续恢复至任意时间点。
47610编辑于 2025-03-28- 来自专栏物联网
物联网数据归档之数据存储方案选择分析
在上一篇文章中《物联网数据归档方案选择分析》中凯哥分析了归档设计的两种方案，并对两种方案进行了对比。这篇文章咱们就来分析分析，归档后数据应该存储在哪里？及存储方案对比。 这里就选择常用的mysql及taos数据库来存储归档后的数据吧。你在处理设备归档表存储方案时对MySQL和TDengine的对比考量很关键，这直接关系到系统长期的可扩展性和运维成本。 ，减少事务开销异步写入：用Kafka等消息队列缓冲写入，避免直接冲击数据库存储治理热数据：存MySQL（近3个月）冷数据：转储至对象存储（如S3），通过外部表查询 冷热分离：定期归档：将超期数据迁移到历史表 ，减少主表体积压缩与类型优化使用TINYINT代替VARCHAR存储状态枚举启用MySQL列压缩（如InnoDB页压缩） 四、为何TDengine在物联网归档中更具优势TDengine的架构设计直击物联网痛点 MySQL，指标数据入TDengine 9 总结：以终为始设计归档策略选型本质：本质上是 “存储成本 vs 开发运维成本” 的权衡：MySQL入门简单但扩展贵，TDengine学习曲线陡峭但长期性价比高
57910编辑于 2025-06-10 如何利用YashanDB进行高效数据归档管理
在这种背景下，数据归档管理显得尤为重要。归档数据不仅能够优化存储资源的使用，还可以提高查询性能和数据安全性。YashanDB作为一种高性能的数据库解决方案，提供了多种特性来支持高效的数据归档管理。 比如，用户可以设置特定的时间点或数据状态触发数据归档操作。同时，借助于分区管理，用户能够将数据表按时间、地域或其他逻辑划分为多个分区，便于归档存储。 无论是对数据进行读取还是写入，系统都会生成数据的快照，确保在归档运行过程中，所有的操作都能以一致的状态访问到数据。这种特性在处理历史数据时尤其重要，能够保证归档时的数据完整性，避免数据的丢失与重复。 安全与加密性能在数据归档管理中，安全性是一个重要的考量。YashanDB提供了对数据的加密存储支持。用户可以在创建表空间或者数据对象时启用透明数据加密（TDE）功能，确保归档数据在存储时的安全性。 使用MVCC保证数据在归档过程中的一致性，避免可能的数据竞争问题。启用数据加密存储，对敏感的归档数据进行保护，确保数据安全。设置监控与审计规则，及时识别和响应归档过程中的异常情况。
13600编辑于 2025-07-16- 来自专栏SAP升级
如何将SAP归档数据合并到数据湖中
这带来了一个挑战——历史SAP归档解决方案以压缩格式将数据存储在基于文件的存储中，很难将这些数据集成到企业数据湖中，更不用说运行实时分析、机器学习算法或从中创造商业价值。 Outboard ERP归档可以迁移或归档SAP过时的数据到企业数据湖。 通过 SAP 事务访问的归档数据，可通过 ArchiveLink 访问。与传统归档解决方案相比，基于数据湖技术实现更快的访问速度。 SAP连接数据湖(SAP HANA和SAP历史档案)越来越多的公司希望在任何数据湖技术中启用所有企业数据，Outboard ERP归档是一种整体的归档解决方案，可以根据其使用情况或数据年限在SAP数据库和外部存储之间移动数据 在日常运行期间，活动数据保留在数据库中，冷数据或旧数据被存档。归档数据仍然可以用于报告。
1.4K20编辑于 2023-02-14 - 来自专栏Django中文社区
分类与归档
侧边栏已经正确地显示了最新文章列表、归档、分类等信息。现在来完善归档和分类功能，当用户点击归档下的某个日期或者分类下的某个分类时，跳转到文章列表页面，显示该日期或者分类下的全部文章。 归档页面 要显示某个归档日期下的文章列表，思路和显示主页文章列表是一样的，回顾一下主页视图的代码： blog/views.py def index(request): post_list = 由于是按照日期归档，因此这里根据文章发表的年和月来过滤。 测试一下，点击侧边栏归档的日期，跳转到归档页面，发现报了个错误，提示没有安装 pytz。激活虚拟环境，使用 pip install pytz 安装即可。 render(request, 'blog/index.html', context={'post_list': post_list}) 这里我们首先根据传入的 pk 值（也就是被访问的分类的 id 值）从数据库中获取到这个分类
2K90发布于 2018-04-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号