记录仪本地存储与云端同步：以太网温湿度设备断网缓存机制设计与实测

记录仪本地存储与云端同步：以太网温湿度设备断网缓存机制设计与实测

物联网 · 温湿度记录仪 · 断点续传 · 本地缓存 · 盛世宏博

关键词：以太网温湿度记录仪、Flash本地存储、FIFO环形缓存、断网缓存、云端同步、NTP时间戳、UDP/Modbus TCP混合上报、掉电保护、时序数据审计

一、前言

在档案馆、配电室、户外管廊、楼宇分布式监测场景中，网络中断是不可避免的：交换机重启、光纤割接、PoE供电故障、施工临时断网。如果温湿度设备没有本地缓存，断网期间的数据直接丢失，会造成审计断层、DA/T 42-2022档案环境合规不达标、事故回溯缺少环境依据。

市面上很多廉价以太网温湿度变送器所谓“缓存”存在明显缺陷：缓存容量很小、时间戳依赖云端、掉电丢失、恢复联网后一次性疯狂爆发包造成服务器UDP队列溢出、重复上报、时序错乱。 本文针对带本地存储能力的RJ45以太网温湿度记录仪，完整拆解缓存介质、存储结构、写入策略、同步调度、冲突校验、实测验证、边界异常处理整套机制，区分【实时上报流】和【历史补传流】，兼顾实时性、数据完整性和网络稳定性。

基础定义 实时流：UDP主动上报（1~2s周期），网络正常时推送最新温湿度、露点、状态； 历史流：断网期间写入本地Flash的记录，网络恢复后按需同步到边缘网关/云端平台； 时间基准：设备本地RTC + NTP渐变同步（slew模式，禁止jump跳变）。

二、硬件存储选型与分区规划

2.1 存储介质选型

优先选用SPI Nor Flash，不推荐EEPROM，不使用SD卡：

1. SPI Nor Flash：
   • 优势：擦写寿命高（≥10万次擦写）、启动快、不需要文件系统、抗振动、无接触失效风险、成本可控；适合嵌入式RTOS小型记录仪；
   • 适合记录密度：一条记录16~32字节，可存储数万条记录；
2. EEPROM：容量太小，一般只有几KB，只能存参数，不适合大容量历史日志；
3. TF/SD卡：虽然容量大，但卡槽机械结构，配电柜、户外、振动场景极易接触不良、卡脱落、文件系统损坏，长期工业项目尽量规避；如需超大容量归档，放在边缘网关层，不在终端传感器上做SD存储。

容量核算示例（工程常用） 单条日志：时间戳(8B)+温度(4B)+湿度(4B)+露点(4B)+状态标志(4B) = 24字节 16Mbit Flash ≈ 2MB，可用日志区约1.6MB，可存储：≈69900条记录； 上报周期2s，可连续缓存时长：≈38.8小时，满足绝大多数割接、检修断网场景； 如果需要7天缓存，选用64Mbit Flash方案。

2.2 Flash分区划分（关键，参数区和日志区隔离）

Flash物理地址划分为3个独立区域，互不覆盖，防止日志擦写冲掉配置参数：

1. 参数配置区（固定大小，例如64KB） 存储：静态IP、NTP地址、上报周期、告警阈值、SNMP参数、Modbus寄存器映射、缓存开关、补传限速参数； 写入策略：只在用户修改配置时写入，正常采集循环不擦写该区域，减少擦写损耗；
2. 日志环形缓存区（FIFO主区，绝大部分空间） 循环环形队列，FIFO先进先出；写满之后，自动覆盖最老的历史记录； 每条记录附带：唯一序列号seq、RTC时间戳、温湿度数值、探头状态标记、校验CRC16；
3. 元数据管理区（尾部小块，32KB） 保存环形队列的写指针、读指针、最后一次有效NTP校正时间、缓存溢出标志、掉电校验标记； 每次写入日志后，延迟批量刷入元数据，避免每写一条日志就擦写一次元数据，延长Flash寿命。

重点：元数据不实时频繁刷写，采用“批量落盘+掉电检测写入”策略。设备检测到掉电（电源电压跌落），触发中断，立刻保存当前读写指针，避免上电后缓存队列指针错乱。

三、写入逻辑：什么时候写入本地缓存？

区分两种状态：网络在线 / 网络离线

1. 网络在线（链路Ping、TCP握手、UDP心跳正常） 优先走UDP实时上报；可选配置：在线时是否同步写入缓存
   • 模式A（审计强需求：档案馆、计量库房）：在线每一笔采集同时写Flash；好处：设备本身就是本地记录仪，平台云端丢失数据时，可以从设备拉取全量历史；代价：Flash擦写频次变高，寿命消耗更快；
   • 模式B（常规动环：配电室、普通厂房，默认推荐）：在线不写入Flash，只在网络判定离线之后，才启动写入缓存；降低Flash损耗；
2. 网络离线判定机制（不能只靠单次丢包） 判定逻辑（防抖，防止瞬时报文丢失误判离线）： 连续N次上报报文无网关/云端ACK应答（可配置，默认连续3次），判定链路离线，切换到缓存写入模式； 离线后，采集周期保持不变，采集数据逐条写入Flash环形FIFO，RTC时间戳作为唯一时间基准。

离线判定不用单纯依靠Ping，优先使用应用层ACK：UDP上报包携带seq号，网关回复ACK包；应用层ACK比ICMP Ping更贴近真实业务链路状态。

四、FIFO环形缓存数据结构设计

单条日志报文结构（二进制，紧凑设计，减少空间占用）

环形队列两个指针：

• wr_ptr：下一条日志写入位置；
• rd_ptr：待补传读取位置； 规则：
• wr_ptr追上 rd_ptr → 缓存已满，设置overflow标志，新记录覆盖最老数据；向上位机SNMP Trap推送【缓存溢出告警】；
• rd_ptr追上 wr_ptr → 缓存全部同步完毕，清空待补传队列标记，退出补传模式，切回纯实时上报；

五、网络恢复后的同步调度策略（最容易翻车的环节）

网络恢复不是一次性把所有缓存包一股脑发出去，这是很多项目风暴、丢包的根源。 采用【退避+限速+优先级调度】模型，终端侧自主控制，也支持网关下发同步指令。

5.1 同步触发条件

设备检测到应用层ACK恢复，判定链路上线，启动补传调度器； 实时UDP上报任务不暂停，实时流优先级 > 历史补传流；实时报文插队发送，保证当前最新数据不延迟。

5.2 三步同步流程

1. 随机退避阶段：0~30s随机延时之后再开始补传 目的：同一分区几十台设备同时断网、同时恢复时，避免所有设备同时发起补传，形成报文洪峰；楼宇、档案馆集群场景必开；
2. 限速分批推送：设置最大补传速率（例如每秒最多2条历史记录），可在Web配置页调整； 每发送一条历史记录，等待网关ACK确认之后，再发送下一条； 网关收到历史记录，入库、校验seq，回传ACK；
3. 断点续传标记：如果补传中途网络再次断开，记录当前rd_ptr位置；下次恢复网络，从rd_ptr继续，从头不重传。

5.3 去重机制

网关/云端维护已经接收成功的seq集合； 设备重发历史包（ACK丢失导致重传）时，网关根据seq号识别重复记录，丢弃重复数据，避免数据库重复写入造成曲线毛刺、重复告警。

六、时间同步与时间戳风险治理

缓存系统最大的隐患：RTC时钟漂移，断网多天之后，时间戳错乱，入库时序颠倒。 配套约束：

1. NTP采用slew渐变校准，禁止jump跳变；在线时缓慢修正RTC，不会出现时间突然回跳；
2. 断网期间，完全信任本地RTC时间戳，不再修改；
3. 网关侧二次校验：如果收到一条历史记录时间戳比当前系统时间还靠后、或者出现时间倒流，标记这条记录为可疑记录，单独日志告警，拒绝写入主时序表；
4. 审计级场景（档案库房DA/T）：定期在线时同步NTP，缩短允许离线缓存时长，同时网关留存NTP校正记录。

反面案例：设备NTP配置jump模式，断网缓存一段时间恢复联网，NTP把时间往前跳，补传数据时间戳倒序，TDengine/InfluxDB时序库写入失败。

七、两套访问接口：Modbus TCP读取缓存 + UDP历史推送

延续三协议混合架构，缓存支持两种方式读取，适配不同平台：

1. UDP历史推送（默认补传通道）： 和实时UDP报文区分报文类型字段，实时包type=0，历史缓存包type=1；网关解析类型分开处理；
2. Modbus TCP批量读取缓存（备用、调试、审计导出）： 设计一组Modbus寄存器：起始seq、读取条数、缓存读取使能；上位机通过Modbus分页读取历史日志； 适合BA平台、本地调试软件导出记录，适合没有UDP接收能力的自控系统；

SNMPv3只上报缓存状态指标：缓存剩余条数、是否溢出、正在补传标记，不承载大批量历史日志。

八、异常边界处理清单

1. Flash读取校验失败（crc错误）：本条记录丢弃，日志上报“缓存记录损坏”，继续读取下一条；不阻塞整个补传流程；
2. 掉电重启：上电读取元数据区的wr_ptr、rd_ptr，校验有效性；元数据损坏时，清空缓存队列，上报故障告警；
3. 缓存溢出：溢出标志置位，Trap告警，持续覆盖老数据；运维收到告警，代表断网时间超过缓存容量，需要排查网络故障；
4. 长时间补传ACK丢失：重试次数上限（默认5次），重试失败，暂停补传，等待下一次链路重连；
5. 配置修改、恢复出厂：参数区写入，日志缓存区可配置选择【保留缓存 / 清空缓存】；审计项目默认保留历史日志。

九、实测方案与测试结果（实验室+现场拷机）

测试样机

RJ45以太网温湿度记录仪，16Mbit SPI Flash，缓存周期2s，三协议并发，隔离PoE网口。 测试用例：

1. 稳态在线测试：连续72h在线，开启在线写缓存；实时UDP无丢包，缓存写入CRC全部校验正常；
2. 断网缓存测试：断开交换机端口，持续24h；设备持续采集写入Flash；恢复链路，自动退避分批补传；补传期间实时UDP正常上报，无延迟；所有记录seq连续，时间戳单调递增；
3. 断网溢出测试：长时间断网超过缓存容量；溢出标志触发，SNMP Trap告警，新数据覆盖最早记录；
4. 中途二次断网测试：补传一半时断开网络；再次上线，从上次断点继续续传，不重复从头传输；
5. 多设备并发恢复测试：16台记录仪同时断电重启、同时恢复网络；开启随机退避，网关侧没有出现UDP风暴，全部缓存数据稳定入库；
6. RTC漂移测试：断网48h，RTC漂移控制在±3min以内（工业普通RTC），网关标记时间偏差告警，数据可保留用于参考；高精度审计项目需要外置RTC模块。

实测结论： 限速+随机退避机制生效，补传流量可控；实时业务流优先级隔离，历史补传不会挤占实时曲线；CRC校验可以识别Flash坏块、数据损坏。

十、终端本地缓存 vs 网关二级缓存的分工边界（非常重要）

这套终端Flash缓存，是最靠近采集点的一级缓存，和边缘网关缓存形成两级保护，职责不能混淆：

• 终端本地Flash：解决【终端 ↔ 接入交换机/网关】之间链路中断（网线断、PoE断电、接入交换机死机）；数据保存在传感器本体；
• 边缘网关eMMC缓存：解决【网关 ↔ 中心服务器】上联链路中断； 不要把所有缓存压力全部丢给终端；超大集群场景，网关层做汇聚缓存，终端缓存只作为短链路兜底。

十一、适用场景与选型取舍建议

✅ 强烈开启本地缓存：智慧档案馆、计量实验室、文物库房、配电室事故追溯、户外无人值守监测、需要满足档案DA/T审计、数据不可丢失场景； ⚠️ 可以关闭本地缓存：点位极多、网络稳定性极好、仅做实时巡检，历史数据只由网关负责存储，降低Flash擦写损耗；

十二、总结

以太网温湿度记录仪的断网缓存不是简单“存一下日志”，是一套包含存储分区、掉电保护、FIFO队列、应用层ACK、随机退避限速、时间戳治理、CRC校验、seq去重的完整子系统。 核心设计要点一句话：实时流优先、历史流限速、时间戳RTC同源、恢复不风暴、溢出有告警、断电不丢指针。 这套缓存机制和前面的多协议混合采集、楼宇分区网关汇聚架构可以无缝组合，构成一套完整、可审计、高可靠的分布式环境监测体系。

标签：#温湿度记录仪本地缓存 #SPI Flash缓存 #断网续传 #FIFO环形缓存 #RTC时间戳 #UDP补传调度 #DA/T档案环境监测 #以太网温湿度 #断点缓存实测 #时序数据审计