随着离线数仓、实时数据湖、AI 训练场景并行爆发,数据存储、计算、调度成本正以每年30%以上的速度上涨。...对象存储 COS 低频+归档一键生命周期;DLC 支持 Upsert 合并小文件 OSS 低频+归档;MaxCompute 按量付费 S3 Intelligent-Tiering...存储冷热分层+小文件合并 通过数据地图一键配置 COS 生命周期:热数据 7 天转低频、30 天归档。 DLC Upsert 能力自动合并小文件,减少 NameNode 压力,存储+计算双降。...四、案例速读:某头部出行平台 3 个月节省 120 万 场景:日均 30 TB 轨迹数据离线入湖+实时风控。...打开官网 https://cloud.tencent.com/product/wedata,点击【立即选购】。 新客首月 1 元试用,领取 500 元资源包代金券(活动截至 2025-09-30)。
时序归档服务负责温湿度、告警事件、设备状态、操作日志长期存储,采用冷热分层存储策略,热数据保留近 90 天用于实时查询,冷数据压缩归档长期留存,满足档案规范的数据留存年限要求。...归档采用三级存储架构,热存储层存储近 90 天结构化时序数据,存入时序数据库,支持高并发曲线渲染、实时查询、日报生成;温存储层针对 90 天至 2 年的数据,在业务低峰执行降采样,保留时段最大值、最小值...原始采集报文、告警事件、联动日志、账号操作审计日志单独归档,审计日志存储在独立数据库,和监测数据物理隔离,审计日志禁止任何账号修改。...容灾备份采用多副本策略,时序数据库每日全量快照、每小时增量备份;冷归档文件异地双副本存储;定期开展备份恢复演练,验证备份文件完整性;平台采用主备服务器架构,主服务器故障,备用节点自动接管采集、联动、告警业务...关键词:物联网,智慧档案馆,档案十二防,温湿度一体化管控,以太网温湿度记录仪,恒湿净化联动,档案库房环境监控,信创适配,3D可视化,时序归档,盛世宏博
本文围绕国产化路线,从硬件底座、链路架构、边缘自治、软件存储、全流程测试五个维度,给出一套可用于招标、研发、出厂验收、现场验收的十二防监控系统可靠性设计方案与标准化测试方案,适配省级档案馆、文博单位特藏库...、酸性气体、TVOC、光照紫外)RS485总线分段,每一段增加隔离中继器,一段总线故障不扩散至其他分区;总线两端配置终端电阻,信号屏蔽线单端接地,降低干扰导致的数据漂移、丢包;同一库房关键测点设置主备双传感器...边缘侧本地自治联动逻辑设计(断网不失效)这是国产化十二防系统可靠性最关键一环,区别于云端集中控制方案。 所有十二防联动策略全部下发存储在国产化边缘网关本地,策略持久化保存,重启不丢失。...数据分层存储:实时测点数据存入国产时序库,告警事件、操作日志存入关系库;支持冷热分离,长期历史数据归档存储,满足档案数十年审计追溯需求;多实例冗余部署:核心平台支持主备双机,主机故障自动切换备机,切换过程不中断告警接收...;权限与审计:RBAC分级权限,所有参数修改、联动策略调整、远程控制操作生成不可篡改审计日志,日志禁止手动删除;固件与配置安全:网关配置文件加密存储,固件升级支持校验码校验,防止恶意篡改;支持离线导入配置
物联网・智慧档案馆・库房集群监控・盛世宏博 # 多分区档案库房集群监控:十二防智能告警、数据汇聚与联动控制实践 ## 摘要 随着各地综合性档案馆新建、改扩建项目落地,档案存储模式由单一独立库房逐步转向多楼层...2.1 边缘感知层(分区本地感知终端) 按库房分区独立部署前端感知设备,每一个分区作为独立采集单元,根据库房存储类型选配十二防传感器,形成分区感知网: 防火:烟感、温感、复合火灾探测器、消防主机信号采集...2.3 集群数据汇聚中台层(总控核心) 中台部署在档案馆中心机房国产服务器(银河麒麟/统信UOS,搭配达梦、人大金仓时序+关系型双库),是整个集群的数据枢纽。...Ⅲ级|一般预警(黄色) 适用:温湿度接近阈值、粉尘小幅升高、设备离线预警,属于预防性预警,不触发强联动,仅记录提醒,方便提前运维干预。...难点4:网络跨分区部署,存在单点断网风险 优化:网关本地联动兜底,采用双链路,核心分区网关支持4G备份链路;中台做设备在线心跳检测,分区离线立即上报故障预警。
离线式UPS离线式UPS是最简单、最常见的一种机房UPS。它采用了一个电源切换器,将电网电源和备用电源分别接到不同的输入端口上,并通过一个逆变器将备用电源输出为稳定的交流电源,以实现不间断供电。...在线式UPS具有输出波形稳定、转换速度快、可靠性高等优点,适用于对电力质量和供电可靠性要求较高的设备,如服务器、存储设备等。3....双转在线式UPS双转在线式UPS是在线式UPS的高级版,它采用了两个独立的逆变器和一个静态开关,能够实现双重转换,从而保证输出电源的稳定性和可靠性。...一般来说,对于要求电力质量和供电可靠性较高的设备,应该选择在线式UPS或双转在线式UPS,对于要求较低的设备,可以选择离线式UPS或在线交互式UPS。3....因此,在选购和使用UPS时,需要确保机房的电源稳定、接地正确、接地电阻小,并采取合适的电源过滤和保护措施,以保证UPS的正常运行和设备的安全稳定。5.
系统总体架构设计:分层解耦、双控制平面(边缘硬联动+平台业务编排)架构最终定型四层架构,同时明确双控制平面,这是十二防平台和普通监控平台最核心架构差异,也是复盘重点:感知执行层:十二防感知终端、执行一体机...算子全部配置化,存储在平台策略模板,下发到网关本地固化,网关离线状态下算子持续运行。6....配置元数据:库房、点位、策略、权限,存储达梦,定期全量备份; 时序测点:高频温湿度、气体、照度、磁场,写入TDengine,按库房、按天分表,保留3年,超过周期归档至离线对象存储; 事件审计:告警、联动...水浸必须硬线DI,不依赖网络;明确双控制平面边界,联动下沉边缘,平台只做业务编排;需求阶段区分普通库房、特藏载体库房,隔离阈值与策略模板;测试用例必须包含故障注入、断网、设备离线、并发告警场景;所有执行设备提前确认...对于档案物联网开发团队而言,十二防项目的开发复盘,也印证了档案行业物联网系统的第一准则:所有可视化、报表、业务功能都是附加价值,离线状态下持续可靠的档案防护闭环,才是系统不可动摇的核心底线。
一、需求背景:为什么要做信创+3D可视化+十二防一体化档案实体对存储环境极其敏感,纸质档案、声像档案、实物档案长期保存,需要稳定可控的环境与完备的安全防护。...平台内部拆分为多个微服务模块:设备接入服务:管理网关、传感器、一体机设备注册、心跳、状态在线监测;时序数据服务:存储温湿度、气体、照度等高频环境时序数据,支持历史曲线导出、报表生成,满足档案DA/T规范归档...❌ 误区5:忽略数据归档,只做告警不做报表。档案馆验收要求温湿度、安全日志长期留存导出,用于档案保管环境溯源。...实现效果:全部十二防数据统一汇聚在三维平台,管理员在浏览器端立体查看所有库房状态;本地网关离线联动兜底,断网状态下漏水、高温告警保护逻辑正常运行;告警分级:预警(温湿度临近阈值)、一般告警、紧急告警(火警...项目验收阶段重点核查:国产化软硬件清单、联动策略测试、断网离线测试、3D告警定位演示、历史数据存储审计。
临近双十一,又双叒叕看到了 NAS 选购的话题。冲动地选型 NAS 半小时以后,开始冷静了下来。我真的需要 NAS 吗?...朋友和家人便能在单一个存储中心找到所有的数字文件,使用不同的平台和设备存取,也包括最方便的移动设备。 免费的离线下载 搭建私有离线下载服务,添加任务至下载列表,自动全天下载。...消费级(群晖)NAS 产品选购指南 群晖 nas 有些什么基本和好玩的功能?...在预算不紧张的前提下,RAID 1 是最适合双盘位 NAS 的存储方案,不仅安全性有一定保证,升级大容量硬盘也很方便,每次替换一块硬盘后重建 RAID 就可以了。...如今改变了对数据的想法,自然也就不再囤积数据,而是随用随取,根据不同的特性去加密、存储、归档、同步数据。 拥抱互联网云时代,扔掉无用的硬盘吧!
二、存储架构:双库分离,不做"一个库扛所有" 信创场景下最稳的落地形态是"国产时序库 + 国产关系库"分离存储,时序库扛原始测点写入,关系库扛业务与元数据:[RJ45温湿度记录仪×N] │ Modbus...值+质量",不存汉字描述、不建大外键 关系库存静态属性与业务过程,时序库通过 point_id 单键关联 审计日志独立库/独立schema,追加写,应用账号无UPDATE/DELETE权限 冷数据离线到国产分布式存储或对象存储.../分布式存储10年以上永久年度归档包+清单+摘要离线介质(磁带/蓝光)+异地永久过期数据由时序库TTL自动下沉,注意是下沉不是删除:到期先打包归档再清理分区,归档包带哈希便于完整性校验。...15GB + 聚合约2GB,存储不是瓶颈,可读性才是 所以别在存储上过度投资,钱应该花在:异地备份、离线介质轮换、迁移演练、以及记录仪端的缓存可靠性上。...,归档包SM3校验通过 冷归档可读性演练:最老批次恢复到新环境,越限统计与导出跑通 四性检测:季度抽检≥5%的机制落地,首次全面检测报告归档 异地备份+离线介质轮换到位,恢复演练有记录 审计日志追加写,
所以从我的理解中,月数据量在一千万,其实量级不大,按照几年的饿一个维度来存储,这个量级其实也可以接受。...我有几种迭代方案: 1.单独建一个归档库,把这些年的订单放在一起,即可以统一访问入口,比如order表,数据按照业务ID分片(如果没有,自增ID也行,不做业务逻辑接入),底层可以使用mycat分片,唯一性索引需要在订单号上面...2.使用mysql列式存储引擎infobright,社区版足够,60亿的统计大概10秒左右出数据,需要离线文件load,不支持DML ,其中的方案特点就是针对列式存储的方式来大大提高效率,当然是用HBase...3.考虑TiDB的方案,大数据量效果也不错,建议直接写入TiDB,次之业务双写,如果TiDB做sync源,复杂度高,而且难以追溯,性能可以做下权衡 。其中如下图,可以在TiKV层面做横向扩展。 ?...今天读到的一段文字,让我有一种莫名的感同身受,尽管经历不同:我希望你们不要和我一样,耽误了十二年,快被业内淘汰的时候才把早该弄明白的问题搞清楚。
、物品拿取、画面遮挡、摄像机异常离线。...录像存储采用循环覆盖模式,告警关联录像锁定保护,不会被循环覆盖删除。...八、方案扩展能力本套多维度安全底座可以平滑扩展,叠加十防/十二防其余监测模块:防高温、防潮湿、防光、防尘、防有害气体、防生物危害、防电磁干扰,逐步升级为完整的十二防一体化管控平台。...录像存储采用循环覆盖模式,告警关联录像锁定保护,不会被循环覆盖删除。...八、方案扩展能力本套多维度安全底座可以平滑扩展,叠加十防/十二防其余监测模块:防高温、防潮湿、防光、防尘、防有害气体、防生物危害、防电磁干扰,逐步升级为完整的十二防一体化管控平台。
本方案基于国产化边缘网关、国产时序数据库、信创适配监控平台,搭建一套一体化环境监控系统,将十二防对应的感知终端、执行设备接入统一平台,实现环境数据采集、智能联动调控、告警分级推送、日志审计归档,解决传统库房多系统孤岛...,支持报表导出,满足古籍保护专项检查;断网自治可靠:联动策略下沉边缘端,外网、平台服务器离线后,库房环境调控、告警联锁逻辑持续运行,保障馆藏不间断防护。...4.1 感知终端层按照十二防分项匹配对应的感知设备,分区布设:防潮、防高温:POE以太网温湿度变送器、RS485温湿度传感器,采集温度、湿度、露点;防火:烟温复合探测器、温度传感探头;防盗:门磁开关、红外双鉴探测器...核心服务包含MQTT消息接入、时序数据存储、告警引擎、RBAC权限管理、报表导出、工单管理模块。平台只承担数据展示、消息推送、日志归档,不参与实时控制,规避平台故障造成环境失控。...7.3 审计归档所有采集时序数据、联动指令、告警处置记录、账号登录操作记录统一存储,保存周期≥5年,支持按库房、时间段、防护分项导出Excel、PDF报表,用于古籍保护专项验收、主管部门检查。
三、总体组网架构与网络分区设计整套混合组网架构分为感知终端层、接入交换层、采集网关与协议分流层、中心采集服务层、存储归档与业务应用层,配套独立 NTP 时间同步、网络安全策略、运维监控子系统。...存储与应用层统一,时序数据库接收来自两条链路经过校验之后的数据,区分主链路数据与辅助告警报文;归档模块对 TCP 链路数据完整归档,UDP 告警报文单独存入事件库;上层可视化大屏、动环运维系统、LIMS...,生成离线事件;设备重连成功之后,网关和采集服务交互缓存索引,比对平台最后一条归档记录,计算缺失时段,下发补录指令,传感器批量回传离线缓存。...这样既满足实验室合规归档要求,又不会因为海量楼宇 UDP 数据过度消耗长期存储资源。...,机房、实验室 TCP 数据长期归档,占用存储更高,楼宇 UDP 数据只短期留存,存储压力小,前期规划时序库分区,不同链路数据分区存放,方便冷热分层归档。
方案一:记录仪原生双栈(Modbus TCP Server + SNMP Agent并行) 中高端工业以太网温湿度记录仪原生支持双协议栈,设备内部同时跑Modbus TCP 502和SNMP 161,内部采集...第四层:上层平台(北向双消费端)动环/十二防管控平台:通过MQTT或者直接读取转换服务的原始Modbus归一化数据,高频采样,写入国产化时序库,执行PID闭环、霉变风险算子、联动控制、DA/T规范报表;...;所有写操作收敛到动环平台,带双人复核审计; 第三,所有测点数据、告警日志、Trap日志,统一归档,支持导出DA/T规范要求的月度环境报表,报表数据源以Modbus采集时序数据为准,SNMP数据仅作为交叉校验...:转换服务采集到的探头故障、离线事件,同步推送到MQTT总线,十二防引擎识别传感器故障,自动启动邻近测点加权补偿逻辑,避免单点传感器故障导致环控失控。...运维台账:每台以太网温湿度记录仪资产编号、IP、寄存器版本、MIB映射、校准周期、维保记录统一归档,每年定期传感器校准,校准系数通过Modbus写入,同步更新缓存。14.
今天我就结合智慧航道工控内网、断网频发、无人值守、夜间巡检的行业问题,原创一套QClaw专属本地离线巡检 + 联网自动复盘归档双闭环创新工作流。...因此我基于QClaw原生能力,改造出一套行业创新双闭环新玩法:断网本地全自动巡检、联网瞬间批量复盘归档推送,完美适配航道封闭工控场景,是全网极少的基建行业专属QClaw落地方案。...,汇总离线期间所有隐患,生成巡检报告、分类异常、推送至运维微信,自动归档备份。.../水文风险/通航隐患三类;报告生成节点:输出标准化《航道离线值守复盘报告》;微信精准推送节点:推送报告+异常清单至运维工作微信;自动归档节点:按日期打包归档,清理过期缓存,避免工控机内存溢出。...安全创新:数据本地闭环不外泄 所有敏感水文、航标数据全程存储本地,仅汇总报告联网推送,完全满足航道数据安全合规要求。
冷热分离的核心逻辑:把「访问频率」变成「存储位置」的函数——热数据留在主库(性能优先),冷数据下沉到廉价存储(成本优先),查询层按需路由。...二、归档架构的三个组件归档任务:定时扫描到期数据(复用分片调度),「先写归档库、校验一致、再删主库」——删除必须有顺序与校验,乱序会丢数据;大批量删除用小批量循环(避免长事务与主从延迟);归档存储选型:...三、迁移期的双读与平滑切换存量数据首次归档是最大的工程风险,标准做法是双读灰度:新查询逻辑先同时支持主库与归档库(按时间路由,边界数据双查合并),灰度验证正确率后逐步放量。...四、四个常见坑跨库查询:冷热分离后「查全部历史」的需求变成跨库问题——要么走归档库的专用查询接口(异步导出),要么接受离线分析(数仓)承载,别试图在线跨库 JOIN;边界抖动:刚好压线的数据(6 个月零...五、验收指标分离效果看四个数:主库容量降幅(预期 70%+)、热数据查询 P95 变化(预期显著改善)、归档查询可用性(秒级返回或明确告知走异步)、月度存储成本降幅。
存证归档层负责长期归档、冷数据迁移、归档包校验。超过在线查询周期的历史温湿度数据,自动打包压缩,写入对象存储,归档包附带整体哈希校验值,归档操作、恢复查阅操作全程留下审计记录。...平台划分在线存储、近线存储、离线归档三层存储策略。...,归档包附带全局哈希,存入离线对象存储,归档任务自动执行,归档操作、恢复查阅操作全部写入审计日志。...建立定期巡检机制,按月核查平台设备在线率、采集成功率、存储剩余容量、归档任务执行状态;按计量检定周期,统一安排温湿度变送器送检,校准走平台工单流程,标记校准时段;定期备份平台数据库、归档存储,多副本异地备份...,防止存储介质损坏;网关、平台固件升级选择业务低峰窗口,升级前备份全部配置,升级完成重新验证采集、联动、存证功能;定期轮换访问密钥、账号密码,清理闲置账号;制定应急处置预案,针对网关故障、变送器大面积离线
额外计费 需 BigQuery DLP 典型场景月成本* ¥1,200(10 TB 离线...存储冷热分层 + 小文件合并 • COS 生命周期图形化配置,7 天热→低频、30 天归档; • DLC Upsert 合并小文件,减少 NameNode 压力,存储单价最低 0.05 元/GB/月。...打开官网 https://cloud.tencent.com/product/wedata →【立即选购】→ 选“1 元试用”; 领取 500 元资源包 + DLC 9.9 元/小时券(截止 2025-...09-30); 按官方“5 分钟快速开始”跑通第一个离线+实时任务,账单实时可见。
适配验证:设备接国产平台、数据国产存储、系统国产运行。国产化不锁定单一厂家,长期可控。十二防一站式智能管控,在国产化平台上实现,安全合规。国产化是系统的底座。...闭环:监测、告警、推送、联动、处置、确认、归档。告警归档可统计,趋势分析。深化方向:告警智能预判、联动优化。告警闭环深化,让系统从"事后告警"到"事前预防"。十二防系统,告警闭环深化是保障。...设备离线:查供电、网络。排查原则"先物理、后协议、再平台"。这些问题做成交付手册,运维效率提升。排查记录是宝贵经验。十二防系统排查,设备、协议、平台逐个查,做扎实问题快速解决。...适配验证:设备接国产平台、数据国产存储、系统国产运行。国产化不锁定单一厂家,长期可控。十二防一站式智能管控,在国产化平台上实现,安全合规。国产化是系统的底座。...设备离线:查供电、网络。排查原则"先物理、后协议、再平台"。这些问题做成交付手册,运维效率提升。排查记录是宝贵经验。十二防系统排查,设备、协议、平台逐个查,做扎实问题快速解决。
物联网 · 智慧档案馆 · 盛世宏博信创智慧档案馆管库系统:十二防标准下库房环境与安防联动设计一、方案总则档案作为不可再生的原生信息资源,长期存储过程中面临温湿度失衡、有害气体侵蚀、火灾、水浸、非法入侵...、视频画面、设备联动记录,事故复盘难度大,也难以形成符合档案管理规范的安全归档材料。...、策略编排、数据归档、可视化展示。...规则编排服务面向运维管理人员提供可视化拖拽配置界面,编排十二防场景化联动策略,同步将下发策略同步至各个边缘网关,实现策略统一管理、边缘本地执行;审计归档服务对所有原始感知数据、告警、联动动作做追加式持久化存储...验收阶段对照档案行业规范、十二防建设清单、信创适配证书、等保测评要求逐项核验,核验重点包含边缘离线自治、联动分级处置、日志防篡改、国密加密、多系统协同联动、台账导出功能,交付全套拓扑图纸、点位台账、联动策略文档