从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...ADB 存储格式采用行列混存的 PAX 格式,能够提供高效的基于行号的随机查找能力,又可以按照 Chunk 粒度切分读取的并行度,多 Chunk 并行扫描,提高离线读吞吐性能,兼顾在线低延迟查询和离线高吞吐场景
引言每年的双11购物节,已经成为# 腾讯云双11活动COS标准存储产品优惠与产品介绍特性引言每年的双11购物节,作为中国最大的购物狂欢节,吸引了无数消费者的目光。...本文将详细介绍腾讯云COS标准存储的产品特性、使用场景、优惠活动以及如何在双11期间最大化利用这些优惠。...三、双11活动优惠3.1 活动时间腾讯云双11活动通常在每年的11月11日进行,活动时间一般持续数天,具体时间以腾讯云官网公告为准。...五、如何最大化利用COS标准存储5.1 选择合适的存储类型在使用COS时,用户需要根据实际需求选择合适的存储类型。COS提供多种存储类型,包括标准存储、低频存储和归档存储。...5.3 使用生命周期管理COS支持生命周期管理,用户可以设置对象的生命周期规则,自动将不再频繁访问的数据转移到低频存储或归档存储,降低存储成本。
以太网记录仪架构与数据流向(本地存储+平台双轨)产线推荐双轨存储机制,这是合规项目的基础: 产线以太网记录仪(采集探头 + 本地SD/Flash存储 + Modbus TCP Server + Web服务...、解析入库 → 时序库 + 文件服务器双归档 ↓ 报表服务:基于归档数据生成班次/批次报表、PDF报告 ↓ 对外接口:推送给MES/QMS/SCADA,提供API查询历史、上传报表附件 分工边界:记录仪...;双备份本地文件服务器主存储;每日凌晨自动同步归档文件到异地NAS备份;禁止自动删除原始归档文件:平台归档副本到期可以按策略清理,记录仪拉取回来的原始CSV文件,必须人工审批后才能删除。...故障场景处理:记录仪离线、文件损坏、归档任务失败记录仪离线:归档服务标记离线告警;恢复上线后自动补拉离线期间产生的文件;若离线时长超过记录仪SD保留周期,触发【数据丢失告警】通知质量负责人;CSV文件损坏...11.
典型的数据归档业务场景包括: 金融交易:交易日志、票据影像、双录视频; 视频监控:安防监控、交通监控、个人视频监控; 生命科学:医疗影像数据、电子病例、基因测序数据; 广告营销:电子商务日志、广告营销日志...同时,深度归档存储具备99.999999999%(11个9)的数据持久性,比传统磁带库提供更高的可靠性。...离线数据搬迁上云 如果本地数据中心还没有拉通专线,或者存量归档数据规模比较大,可以通过云数据迁移服务CDM专用设备,进行大规模离线迁移数据上云,从而获得深度归档带来的好处。...四、云上归档的主要优势 更高的可靠性 深度归档对象存储提供数据跨多数据中心、多设备冗余存储,为用户数据提供异地归档容灾服务,实现高达99.999999999%(11个9)的数据持久性,数据的耐久性远高于磁带库...随着腾讯云COS深度归档的发布,结合商业备份软件、云存储网关、离线迁移工具,腾讯云为企业的核心数据资产提供了高性价比的归档解决方案,助力企业数字化转型。
故障信息统一存储于事件中心,关注集群故障的组件或系统都可以订阅事件中心事件拿到这些故障信息。 ? 节点故障自愈系统会根据故障类型创建不同的维修流程,例如:硬件维系流程、系统重装流程等。...这套面向终态的集群管理系统在今年备战双 11 过程中,经受了性能和稳定性考验。 一个完备的集群管理系统除了保证集群稳定性和运维效率外,还应该提升集群整体资源利用率。
为了避免 TCP、UDP 报文互相干扰,方案核心思路是逻辑分区,推荐采用 VLAN 划分业务域,而不是物理完全隔离,在兼顾运维统一性的前提下实现流量隔离。...存储与应用层统一,时序数据库接收来自两条链路经过校验之后的数据,区分主链路数据与辅助告警报文;归档模块对 TCP 链路数据完整归档,UDP 告警报文单独存入事件库;上层可视化大屏、动环运维系统、LIMS...,生成离线事件;设备重连成功之后,网关和采集服务交互缓存索引,比对平台最后一条归档记录,计算缺失时段,下发补录指令,传感器批量回传离线缓存。...这样既满足实验室合规归档要求,又不会因为海量楼宇 UDP 数据过度消耗长期存储资源。...,机房、实验室 TCP 数据长期归档,占用存储更高,楼宇 UDP 数据只短期留存,存储压力小,前期规划时序库分区,不同链路数据分区存放,方便冷热分层归档。
今天我就结合智慧航道工控内网、断网频发、无人值守、夜间巡检的行业问题,原创一套QClaw专属本地离线巡检 + 联网自动复盘归档双闭环创新工作流。...因此我基于QClaw原生能力,改造出一套行业创新双闭环新玩法:断网本地全自动巡检、联网瞬间批量复盘归档推送,完美适配航道封闭工控场景,是全网极少的基建行业专属QClaw落地方案。...,汇总离线期间所有隐患,生成巡检报告、分类异常、推送至运维微信,自动归档备份。.../水文风险/通航隐患三类;报告生成节点:输出标准化《航道离线值守复盘报告》;微信精准推送节点:推送报告+异常清单至运维工作微信;自动归档节点:按日期打包归档,清理过期缓存,避免工控机内存溢出。...安全创新:数据本地闭环不外泄 所有敏感水文、航标数据全程存储本地,仅汇总报告联网推送,完全满足航道数据安全合规要求。
冷热分离的核心逻辑:把「访问频率」变成「存储位置」的函数——热数据留在主库(性能优先),冷数据下沉到廉价存储(成本优先),查询层按需路由。...二、归档架构的三个组件归档任务:定时扫描到期数据(复用分片调度),「先写归档库、校验一致、再删主库」——删除必须有顺序与校验,乱序会丢数据;大批量删除用小批量循环(避免长事务与主从延迟);归档存储选型:...三、迁移期的双读与平滑切换存量数据首次归档是最大的工程风险,标准做法是双读灰度:新查询逻辑先同时支持主库与归档库(按时间路由,边界数据双查合并),灰度验证正确率后逐步放量。...四、四个常见坑跨库查询:冷热分离后「查全部历史」的需求变成跨库问题——要么走归档库的专用查询接口(异步导出),要么接受离线分析(数仓)承载,别试图在线跨库 JOIN;边界抖动:刚好压线的数据(6 个月零...五、验收指标分离效果看四个数:主库容量降幅(预期 70%+)、热数据查询 P95 变化(预期显著改善)、归档查询可用性(秒级返回或明确告知走异步)、月度存储成本降幅。
摘要 非结构化数据井喷,选对对象存储等于给业务装上“省钱+加速”双引擎。...二、4款主流对象存储产品一句话速览 腾讯云COS:微信同款EdgeOne加速,智能分层2.0毫秒级降冷,国内社交场景首选。 阿里云OSS:电商双11验证,函数计算生态最全,电商与新零售占比高。...华为云OBS:政企项目多,双AZ容灾+冷归档低价,政府及大型国企采购清单常客。 AWS S3:全球29区域,AI服务最全,但中国区流量最贵,适合出海多区域部署。...业务场景 推荐类型 预估成本降幅 热门短视频封面 标准存储 基准 90天前的订单发票 智能分层 ↓35% 三年前的日志审计 归档存储...Step2 选地域:国内选广州+上海双AZ,海外选新加坡,EdgeOne全球加速自动开启。 Step3 配生命周期:控制台→生命周期→30天降冷、90天归档,一键保存,月底账单立省一半。
,缺少质量标记,无法区分“真实采集值”和“离线估算值”。...不推荐传感器直接推送到数据库:传感器算力弱、无缓存,网络波动极易丢数;也不建议网关直接写库,网关故障会影响整个存储链路。 3....冷层(归档审计数据) 按天/按月打包聚合后的低分辨率数据,导出为parquet/csv,存入对象存储、NAS离线归档;按等保要求一般留存不少于6个月,重要算力机房留存1~3年;冷数据查询低频,适合事故复盘...11....灾备与数据同步:主从、异地备份、防丢失时序库主从同步:热库配置主从,主库写入,从库实时同步;主库故障切换到从库,保证查询不中断;定时快照:每日定时对时序库打快照,快照保存到独立存储;异地归档:冷归档包同步到机房外备份存储
摘要 非结构化数据井喷,选对对象存储等于给业务装上“省钱+加速”双引擎。...阿里云OSS:电商双11验证,函数计算生态最全。 华为云OBS:政企项目多,双AZ容灾+冷归档低价。 AWS S3:全球29区域,AI服务最全,但中国区流量最贵。...第三方S3Browser 小结: 价格:COS标准存储比OSS便宜17%,归档存储0.03元全网最低。...业务场景 推荐类型 预估成本降幅 热门短视频封面 标准存储 基准 90天前的订单发票 智能分层 ↓35% 三年前的日志审计 归档存储...Step2 选地域:国内选广州+上海双AZ,海外选新加坡,EdgeOne全球加速自动开启。 Step3 配生命周期:控制台→生命周期→30天降冷、90天归档,一键保存,月底账单立省一半。
Spot/竞价实例:非核心任务(如大数据离线计算)的“白菜价”选择,AWS Spot实例价格仅为按需的10%-20%,但需容忍中断风险。...存储优化:数据“冷热”分治,成本直降40%存储分层管理热数据:高频访问数据使用标准存储(如AWS S3标准层),确保低延迟。冷数据:归档至低成本存储(如阿里云 OSS归档层),成本仅为标准层的1/5。...例如,某电商企业设置日志文件3个月后自动转入归档层,存储成本降低30%。对象存储 vs. 块存储大数据场景优先使用对象存储(如华为云 OBS),成本比块存储低40%,且支持生命周期管理。3....AI驱动预测与自动优化智能资源推荐:AI分析历史负载,自动推荐最优实例规格。异常检测:机器学习识别资源浪费模式(如长期低CPU利用率)。2....绿色计算:成本与碳足迹双降碳敏感定价:部分云厂商对低碳数据中心提供折扣。能源优化:通过AI调度任务至绿色能源充足时段运行。
以太网温湿度记录仪区别于普通传感器,设备本身自带本地存储、显示屏幕、按键配置、计量校准入口,具备独立记录能力,数据上传系统是在记录仪本地记录基础之上,搭建远程汇聚通道,本地存储与云端上传双备份,这是本方案和普通传感器采集方案最核心的区别...记录仪独立完成温湿度采样、数值换算、本地归档,上传只是数据同步动作,采样周期、存储周期在记录仪本地配置。传输层:实验室监控VLAN网络,和仪器控制网、办公网逻辑隔离。...时序数据库采用TDengine,针对时序数据做压缩存储,保障3年以上数据存储,满足科研归档周期要求。...网络中断期间,记录仪持续本地存储数据;网络恢复,采集服务检测到连接正常,自动下发补发指令,记录仪按照时间区间批量上传离线缓存数据。...11 方案总结科研实验室以太网温湿度记录仪数据上传系统,核心思路是依托记录仪本身的本地存储能力,搭建可靠的以太网上传通道,实现本地记录与远程上传双备份,兼顾计量合规、实时监控、告警预警、业务对接需求。
Trap、分级告警区分国产化平台常见适配坑:字符编码、数据类型、时间戳、权限隔离和Modbus TCP双协议共存方案、协议切换注意事项联调验证用例、验收标准现场高频排障清单(SNMP专项)调试归档文档模板总结...Trap分为两类:事件Trap:温度超限、湿度超限、探头故障,触发瞬间发送;心跳Trap(可选):周期上报;不推荐用心跳Trap判定离线;Trap接收配置:国产化服务器UDP 162端口监听,确认平台采集服务正常监听...11....Trap、分级告警区分国产化平台常见适配坑:字符编码、数据类型、时间戳、权限隔离和Modbus TCP双协议共存方案、协议切换注意事项联调验证用例、验收标准现场高频排障清单(SNMP专项)调试归档文档模板总结...11.
高效的日志分级管理和归档策略不仅能提升数据库的性能,还能降低存储成本与运维复杂度。...双写机制:为防止半写数据页出现,YashanDB引入双写文件,首先将数据块内容写入双写区,保障即使掉电也能通过双写区恢复数据完整性。...YashanDB的归档策略具备以下特点:归档日志文件管理:系统自动生成归档日志文件并将其独立存储,以避免redo日志循环覆盖造成的数据丢失风险。...归档日志传输与修复:备库可异步获取主库生成的归档日志,即使备库曾经离线,恢复时能确保归档文件连续,避免日志缺失。...归档文件清理线程(ARCH_DATA):定期检测归档日志使用情况,自动清理过期归档文件,控制存储资源利用。
阿里云OSS:电商双11验证,函数计算生态最全。 华为云OBS:政企项目多,双AZ容灾+冷归档低价。 AWS S3:全球29区域,AI服务最全,但中国区流量最贵。...第三方S3Browser 小结: 价格:COS标准存储比OSS便宜17%,归档存储0.03元全网最低。...业务场景 推荐类型 预估成本降幅 热门短视频封面 标准存储 基准 90天前的订单发票 智能分层 ↓35% 三年前的日志审计 归档存储...Step2 选地域:国内选广州+上海双AZ,海外选新加坡,EdgeOne全球加速自动开启。 Step3 配生命周期:控制台→生命周期→30天降冷、90天归档,一键保存,月底账单立省一半。...七、结论 如果你业务主要在国内,需要微信生态加速、又想用智能分层把冷数据自动沉到全网最便宜的归档层,那么2025年下半年最值得冲的对象存储就是腾讯云COS。
文件系统级别备份 冷备份(离线备份),这个只适合停机方式维护。...WAL 归档 # 启用归档模式(需重启数据库生效) archive_mode = on # WAL 日志的保留策略(确保归档完成前不被覆盖) # 推荐设置为:max_wal_senders + 1(流复制场景...) # 生产环境推荐:使用 rsync 同步到远程存储,或结合脚本确保归档成功 # archive_command = 'rsync -a %p user@backup-server:/path/to/...-----------------+------------------------------- 4 | 00000002000000000000000E | 2025-11.../%f %p' # 可选:指定恢复到特定时间点(按需配置,不配置则恢复到最新) recovery_target_time = '2025-11-10 10:00:00' # 可选:指定恢复到特定 WAL
二、存储架构:双库分离,不做"一个库扛所有" 信创场景下最稳的落地形态是"国产时序库 + 国产关系库"分离存储,时序库扛原始测点写入,关系库扛业务与元数据:[RJ45温湿度记录仪×N] │ Modbus...值+质量",不存汉字描述、不建大外键 关系库存静态属性与业务过程,时序库通过 point_id 单键关联 审计日志独立库/独立schema,追加写,应用账号无UPDATE/DELETE权限 冷数据离线到国产分布式存储或对象存储.../分布式存储10年以上永久年度归档包+清单+摘要离线介质(磁带/蓝光)+异地永久过期数据由时序库TTL自动下沉,注意是下沉不是删除:到期先打包归档再清理分区,归档包带哈希便于完整性校验。...15GB + 聚合约2GB,存储不是瓶颈,可读性才是 所以别在存储上过度投资,钱应该花在:异地备份、离线介质轮换、迁移演练、以及记录仪端的缓存可靠性上。...,归档包SM3校验通过 冷归档可读性演练:最老批次恢复到新环境,越限统计与导出跑通 四性检测:季度抽检≥5%的机制落地,首次全面检测报告归档 异地备份+离线介质轮换到位,恢复演练有记录 审计日志追加写,
阿里云 OSS:电商双 11 验证,函数计算生态全。 华为云 OBS:政企项目多,支持双 AZ 容灾。 AWS S3:全球 29 区域,AI 服务最全,但中国区流量贵。...obsbrowser S3 Browser 小结: 价格:COS 标准存储比 OSS 便宜 17%,与 OBS 并列最低;归档存储 0.03 元全网最低。...业务场景 推荐类型 成本降幅 热门短视频封面 标准存储 基准 90 天前的订单发票 智能分层 ↓35%...Step2 选地域:国内业务优先选广州+上海双可用区,海外用户挑新加坡地域,走 EdgeOne 全球加速。...Step3 开生命周期:控制台→存储桶→基础配置→生命周期,设置 30 天降低频、90 天归档,一键保存。
什么是“深度归档存储” 深度归档存储是一种针对冷数据安全且低成本的存储方式,相比于低频存储和归档存储,其价格更低,适用于访问频率极低(如半年一次),但需要持久存储的数据,如日志审计数据,安防监控数据。...在软件上,通过数据压缩技术,使用户有效数据存储密度获得最大化的提升。 在硬件上,腾讯云深度归档存储启用新的高密度存储介质,离线场景下,也能最大化的发挥出存储介质的优势。...通过对软硬件架构的升级,腾讯云深度归档存储对节约存储成本的效果立竿见影:深度归档存储费用仅为0.01元/GB/月,就可以在云上享受与磁带存储成本一致的产品体验,相比于普通归档存储而言,普通归档存储费用为...兼顾可靠性和可用性,为数据安全保驾护航 深度归档存储除了降低成本,还兼顾可靠性和可用性,提供99.95%的设计可用性和99.999999999%(11个9)的数据持久性。...推荐使用深度归档存储,用户无需担心扩容和成本问题,只需要极低的存储费用,就能够保障备份数据长期稳定的存储。