TCP心跳保活机制，以太网温湿度传感器断线重连逻辑开发笔记

TCP心跳保活机制，以太网温湿度传感器断线重连逻辑开发笔记

物联网 · 以太网温湿度传感器 · Modbus TCP · 心跳保活 · 断线重连 · 边缘网关开发 · 盛世宏博

前言

在智慧档案馆、机房动环、楼宇自控、变电站、元器件车间温湿度监控项目中，大量采用RJ45以太网温湿度传感器，基于Modbus TCP协议和边缘网关、动环主机进行数据交互。相比RS485总线，以太网传感器具备传输距离远、速率高、支持POE供电、布线灵活等优势，但同时也引入了网络链路不稳定问题：交换机端口闪断、网线接触不良、POE供电瞬时掉电、ARP表老化、跨VLAN路由抖动、广播风暴、设备长时间静置后的TCP僵死连接等现场问题，在工程实施阶段高频出现。很多项目早期只做简单TCP连接，没有完整心跳保活、僵死连接检测、分级断线重连逻辑，带来一系列工程痛点：网关侧TCP连接已经断开，但socket句柄仍然处于半开状态，上层业务误认为传感器在线，持续读取到旧缓存数据，出现“假在线”；传感器掉线后网关反复疯狂建连，短时间大量SYN包冲击交换机，造成网络拥塞；重连策略没有退避算法，链路短暂恢复后瞬间并发建连，引发雪崩；没有区分链路瞬断、设备断电、硬件故障，告警逻辑一刀切，运维人员无法区分是网线松动还是传感器硬件损坏；断网期间测点数据丢失，没有本地缓存、断点续传机制。

本文是面向边缘网关侧Modbus TCP以太网温湿度传感器驱动开发笔记，聚焦TCP心跳保活原理、应用层心跳和TCP原生Keepalive选型对比、状态机设计、分级重连退避算法、僵死连接识别、异常分支处理、工程落地坑点、代码框架、测试用例，适配档案馆、机房动环项目的商用级驱动开发，目标是实现高可靠、低网络冲击、可审计的以太网温湿度传感器接入驱动，适配Modbus TCP标准协议，兼容国产边缘网关（飞腾、瑞芯微ARM平台，嵌入式麒麟、统信）。全文面向嵌入式开发、物联网网关后端、动环平台开发人员，内容偏向工程落地，兼顾理论与现场调试经验。

一、场景与需求定义

1.1 业务场景

以太网温湿度传感器，Modbus TCP服务端，传感器内置TCP Server，网关作为TCP Client主动发起连接，定时下发Modbus读取指令（03功能码，读取温湿度寄存器），传感器返回寄存器数据。 典型参数：单传感器1~4路温湿度采集，部分型号集成PM2.5、压差；POE供电，10/100M自适应；支持静态IP，少数支持DHCP；单网关接入传感器数量从几个到上百个不等，档案馆库房场景经常单条监控网内几十台以太网温湿度传感器并发接入。

1.2 核心功能需求

1. TCP连接管理：网关作为客户端主动连接传感器Modbus TCP服务端；
2. 心跳保活检测：识别连接是否有效，区分正常在线、链路瞬断、TCP半开僵死、设备离线；
3. 断线重连：连接失效后自动重连，必须带指数退避，禁止高频死循环重连；
4. 数据收发绑定心跳：读取温湿度报文本身可以复用为应用心跳，减少额外报文开销；
5. 状态机管理：明确离线、连接中、已连接、正常通信、异常失联、等待重连多个状态，状态迁移可追溯；
6. 告警分级：瞬断不直接上报告警，持续超时失联后再推送告警，抑制抖动告警；
7. 断网缓存：传感器短暂掉线期间，网关标记测点状态，不持续推送无效数据，恢复连接后自动补采；
8. 资源回收：连接断开后正确关闭socket，释放句柄，防止网关长时间运行句柄泄漏；
9. 适配国产嵌入式平台：兼容Linux（麒麟、统信嵌入式），支持aarch64，适配epoll异步IO模型；
10. 可配置化：心跳间隔、超时阈值、重连初始间隔、最大重连间隔、最大重试次数、告警防抖窗口全部可配置，在不同项目（档案馆、机房）可以调参。

1.3 非需求边界（避免过度设计）

本驱动不做传感器侧固件开发，只在网关客户端侧实现逻辑；不修改Modbus TCP协议本身；不做UDP fallback；路由层、交换机层网络问题不在本驱动内解决，驱动只负责识别、上报、重试。

二、两种心跳保活方案：TCP原生Keepalive vs 应用层心跳

很多开发新手容易混淆TCP Keepalive和应用层心跳，在项目里选错方案，后期现场出现大量诡异断线问题，这里做详细对比。

2.1 TCP原生Keepalive（内核层保活）

TCP Keepalive是Linux内核TCP协议栈自带机制，在TCP连接建立之后，内核在空闲一段时间后自动发送TCP保活探测包（ACK探针），对端回复ACK则判定连接正常；多次无应答，内核判定连接断开，通知上层应用socket出错。 Linux内核三个核心参数： tcp_keepalive_time：连接空闲多久之后开始发送保活探针，默认7200s（2小时）； tcp_keepalive_intvl：探针之间间隔； tcp_keepalive_probes：探针重试次数。

优点：内核实现，不需要业务代码额外发包，CPU开销极低；标准TCP行为，所有TCP协议栈支持。 致命缺点（物联网传感器场景非常突出）：

1. 默认参数极其缓慢，2小时才开始探测，完全不适合动环监控，我们需要几十秒内感知传感器掉线；虽然可以代码内setsockopt修改单连接keepalive参数，但是部分嵌入式Linux内核裁剪版本、国产嵌入式系统，存在keepalive行为异常；
2. 内核只检测TCP链路层连通性，无法检测Modbus TCP服务端是否卡死。比如传感器TCP端口正常accept，但是内部Modbus服务线程卡死，能响应TCP ACK，但是不回复03读寄存器报文。此时TCP Keepalive认为连接健康，网关持续发送读取指令，全部超时，出现TCP在线但是业务无效的假在线；
3. 跨NAT、POE交换机场景，部分交换机、NAT设备会丢弃TCP keepalive探针，导致内核误判断开；
4. 内核检测到断开之后，直接通知socket错误，上层业务很难区分是链路闪断还是设备永久断电，不利于防抖告警。

结论：TCP Keepalive适合辅助兜底，不能单独作为以太网温湿度传感器的保活方案，工业物联网Modbus TCP场景必须以应用层心跳为主。

2.2 应用层心跳（业务心跳，推荐方案）

应用层心跳，就是在业务协议层面，通过交互报文确认对端业务正常。对于Modbus TCP温湿度传感器，最佳实践：复用温湿度读取报文作为心跳包，不再单独设计心跳报文。 网关周期性下发Modbus TCP 03功能码读取寄存器请求，传感器正常返回响应报文=心跳成功；在规定超时时间内没有收到应答，判定一次心跳失败；连续N次心跳失败，判定连接失效，进入断线重连流程。 优势：

1. 同时验证TCP链路+传感器Modbus服务线程双健康，规避“TCP通、业务卡死”假在线；
2. 心跳周期完全由业务代码控制，比如5s一次读取，超时3s，连续3次失败判定离线，18s内识别故障，满足档案库房监控告警时效；
3. 可以携带业务语义，每一次心跳同时拿到温湿度数据，没有额外网络流量开销；
4. 心跳失败次数、防抖窗口、重连策略全部在应用层可控，方便做告警防抖、分级重试；
5. 不受内核TCP参数、NAT、交换机策略影响，跨平台行为一致，x86和飞腾ARM国产网关行为统一。

缺点：需要业务层维护收发定时器、状态机，代码复杂度更高；需要处理报文粘包、分包、Modbus CRC校验、事务ID匹配。

2.3 工程最佳组合方案

应用层心跳为主，TCP Keepalive作为兜底：

1. 应用层：定时下发Modbus读寄存器，作为心跳，业务层面判断存活；
2. socket开启TCP Keepalive，设置较短的keepalive参数，作为内核兜底，应对极端场景（传感器断电、网线直接拔掉，无RST包）；
3. 两个条件任意一个判定连接失效，进入断线处理流程。

三、驱动状态机设计（核心）

采用有限状态机FSM管理传感器连接生命周期，所有状态迁移条件明确，避免状态混乱，这是稳定重连逻辑的基础。一共6个状态：

1. STATE_IDLE 空闲离线状态：未建立连接，等待重连计时到期；
2. STATE_CONNECTING 正在建连：调用connect，等待TCP三次握手完成；
3. STATE_CONNECTED 连接已建立：TCP握手成功，socket就绪，准备发起Modbus读取；
4. STATE_RUNNING 正常通信状态：周期性下发Modbus请求，等待应答，心跳正常；
5. STATE_HEART_FAIL 心跳失败：收到TCP连接，但是连续多次Modbus应答超时，业务心跳失效；
6. STATE_WAIT_RECONNECT 等待重连冷却：心跳失败/连接断开，进入退避等待，倒计时结束后切回CONNECTING。

状态迁移规则

1. IDLE → CONNECTING：重连冷却时间到，发起connect；
2. CONNECTING → CONNECTED：connect回调成功，TCP建立；
3. CONNECTING → WAIT_RECONNECT：connect失败（RST、超时、目标不可达），进入退避；
4. CONNECTED → RUNNING：第一次成功收到Modbus应答，标记业务正常；
5. RUNNING → RUNNING：按时收到应答，重置心跳失败计数器；更新温湿度测点数据，上送平台；
6. RUNNING → HEART_FAIL：单次应答超时，心跳失败计数+1；计数未到阈值，继续等待下一次应答；达到阈值，判定业务失效；
7. HEART_FAIL → WAIT_RECONNECT：判定业务失效，关闭socket，释放资源，进入退避；
8. 任意状态收到socket异常（epoll EPOLLERR、EPOLLHUP、read返回0），直接关闭socket，进入WAIT_RECONNECT；
9. WAIT_RECONNECT → IDLE：等待计时完成，回到空闲，准备下一轮建连；
10. 任何状态下，平台下发“禁用测点”指令，直接切到IDLE，停止所有重连逻辑。

重点工程约束：只有RUNNING状态，网关才向上层平台推送有效温湿度数据；CONNECTED但是没有成功应答的状态，标记为“TCP已连接，业务未就绪”，测点状态置为无效，不推送虚假数据，解决假在线问题。

四、断线重连退避算法设计（防网络风暴）

如果简单写“断开就立刻重连”，当交换机故障、整段监控网瘫痪时，几十上百个传感器驱动同时疯狂发起connect，大量SYN包瞬间打满交换机，造成网络雪崩，档案馆库房动环项目多次踩过这个坑。必须使用指数退避+上限收敛。

参数配置（可配置，默认值）

• 初始重连间隔 base_ms = 1000ms（1s）
• 退避系数 factor = 2
• 最大重连间隔 max_ms = 30000ms（30s）
• 最大重试次数：0代表无限重试（现场传感器大部分长期在线，推荐无限重试）；非0适合临时调试测点

计算逻辑： 第n次重连等待时间 = min(base_ms * (factor ^ (n-1)), max_ms) 举例： 第1次失败：等待1s 第2次失败：等待2s 第3次失败：等待4s 第4次失败：等待8s 第5次失败：等待16s 第6次失败：等待30s 后续所有失败，固定30s，不再继续放大。

额外优化点：

1. 随机抖动jitter：在计算出来的等待时间基础上，±10%随机偏移，避免多个传感器同时掉线之后同步重连（同步雪崩）；
2. 重连成功之后，失败计数器清零，下一次断线重新从base_ms开始；
3. 区分瞬断和永久离线：短时间内（比如30s内）恢复连接，不触发告警；连续超过告警防抖窗口（比如90s）持续失败，才向上层平台推送“传感器离线告警”，抑制网线抖动、POE瞬时闪断带来的告警轰炸。

五、Modbus TCP报文收发、事务ID匹配、超时处理

Modbus TCP相比RTU，增加MBAP头，包含事务ID（transaction id），这是实现多请求并发、超时匹配的关键。 网关侧流程：

1. 定时器触发，生成自增事务ID；
2. 组装Modbus TCP报文：MBAP头 + PDU（03功能码，起始地址、寄存器长度）；
3. send发送到socket；
4. 记录该事务ID的发送时间、超时时间戳；
5. 等待epoll可读事件；读取数据，做分包粘包处理；
6. 解析MBAP头，匹配事务ID；校验功能码，判断是否异常码（0x83，Modbus异常）；
7. 匹配成功：更新心跳成功时间，清空失败计数器，解析温湿度寄存器；
8. 超时扫描：定时器遍历所有未应答事务，对比当前时间戳，超时则标记本次心跳失败；

重点坑点：

1. 事务ID不能重复复用，并发轮询多个寄存器时，事务ID一一对应；
2. 粘包：一次recv可能收到多条Modbus报文，或者半条报文，驱动内部必须维护接收缓冲区，按MBAP长度字段切分报文；
3. 传感器返回Modbus异常码（比如非法地址）：这个属于业务错误，不是链路心跳失败，不触发断线重连，只上报测点异常；
4. 寄存器解析：很多以太网温湿度传感器，温湿度是int16放大10倍存储，温度=raw/10.0，湿度=raw/10.0，不同厂商寄存器映射不一样，驱动层做配置化寄存器映射表。

心跳参数参考（档案馆项目推荐）

• 轮询下发间隔：5s（每5s读一次温湿度，同时作为心跳）
• 单报文超时：3s
• 连续失败阈值：3次（连续3次读不到应答，判定业务心跳失效）
• 告警防抖窗口：90s（连续90s失效，才上报告警）

六、Socket资源管理、句柄泄漏、IO模型选型

嵌入式Linux网关，长期7×24小时运行，句柄泄漏是致命问题，很多驱动写的不好，跑几天之后socket句柄耗尽，所有传感器全部无法连接。

6.1 关闭连接的标准流程

当判定连接失效时，必须依次执行：

1. 停止该传感器所有待发送定时器、待应答事务；
2. epoll从监听列表移除该fd；
3. shutdown(SHUT_RDWR)；
4. close(fd)；
5. fd置为-1，清空收发缓冲区、事务缓存；
6. 状态切换到WAIT_RECONNECT，启动退避计时器。

禁止只close不shutdown，禁止忘记epoll移除，禁止fd不置空。

6.2 IO模型选型

工业网关推荐epoll异步IO，不推荐select，不推荐单线程阻塞connect+read：

• epoll ET边沿触发，兼顾性能；
• 每个传感器一个fd，统一epoll管理；
• 定时器使用timerfd或者时间轮，不使用sleep阻塞；
• 国产ARM飞腾、瑞芯微嵌入式Linux，epoll稳定，无兼容性问题。

6.3 多线程注意事项

传感器驱动是高频踩坑点：socket fd跨线程读写，不加锁导致报文错乱。推荐两种架构： 方案A：单IO线程，所有传感器收发、epoll、定时器全部在同一个线程，无锁，稳定性最高，适合单网关几百测点以内； 方案B：IO线程池，每个socket绑定固定线程，事务队列加细粒度锁；复杂度更高，适合超大测点规模。 不建议多线程随意读写同一个socket。

七、异常场景分支处理（现场高频问题）

这里整理项目实施中最容易遇到的异常分支，在逻辑里必须覆盖：

1. 网线热插拔：拔掉网线，TCP不会立刻发送RST，内核无通知，只能依靠应用层心跳超时识别；
2. POE交换机断电重启：传感器跟着断电，上电后自动重启，网关重连逻辑正常重试；
3. 传感器IP冲突：connect成功，但是应答错乱，事务ID匹配失败，持续心跳失败，持续重连；平台上报告警，运维排查IP；
4. 传感器固件卡死：TCP端口正常，能握手，但是不回复Modbus，TCP Keepalive显示正常，应用心跳连续失败，触发重连；重连仍然无效，持续告警；
5. 交换机ARP老化：传感器长时间不通信，交换机ARP表项删除，首包丢包，单次心跳超时，但是下一次恢复，不触发告警；
6. 网关和传感器跨VLAN：防火墙拦截Modbus TCP 502端口，connect直接失败，进入退避；
7. 传感器回复报文很慢，接近超时阈值：增加报文接收防抖，不要单次超时直接判定失效；
8. 网关时间跳变（NTP校时）：所有心跳、超时判断，禁止使用系统wall时间，改用CLOCK_MONOTONIC单调时钟，这是非常关键的一点。系统时间往前跳、往后跳，会直接导致超时逻辑错乱，单调时钟不受系统时间修改影响。

重点：所有超时、心跳计时，统一使用clock_gettime(CLOCK_MONOTONIC)，绝对不要用time()、gettimeofday。

八、极简代码框架（C语言，Linux epoll，伪代码）

// 传感器状态枚举
typedef enum {
    STATE_IDLE,
    STATE_CONNECTING,
    STATE_CONNECTED,
    STATE_RUNNING,
    STATE_HEART_FAIL,
    STATE_WAIT_RECONNECT
} SensorState;

typedef struct {
    char ip[16];
    uint16_t port;
    int fd;
    SensorState state;
    int fail_cnt;
    int retry_cnt;
    uint64_t last_heart_ts;      // CLOCK_MONOTONIC
    uint64_t next_reconnect_ts;
    uint32_t trans_id;
    // 配置参数
    int heart_interval_ms;
    int timeout_ms;
    int max_fail;
    int base_retry_ms;
    int max_retry_ms;
    // 接收缓冲区
    uint8_t rbuf[256];
    int rlen;
} EthSensor;

// 状态机驱动入口，每一轮时间轮调度调用
void sensor_fsm_run(EthSensor *s, uint64_t now_ms)
{
    switch(s->state) {
        case STATE_IDLE:
            if(now_ms >= s->next_reconnect_ts) {
                sensor_start_connect(s);
                s->state = STATE_CONNECTING;
            }
            break;
        case STATE_CONNECTING:
            // connect回调成功切CONNECTED；失败计算退避时间，进入WAIT_RECONNECT
            break;
        case STATE_CONNECTED:
            // 首次下发Modbus读取请求
            sensor_send_modbus_req(s);
            s->state = STATE_RUNNING;
            s->last_heart_ts = now_ms;
            break;
        case STATE_RUNNING:
            if(now_ms - s->last_heart_ts > s->heart_interval_ms) {
                sensor_send_modbus_req(s);
            }
            // 扫描超时事务，失败计数累加
            if(check_trans_timeout(s, now_ms)) {
                s->fail_cnt ++;
                if(s->fail_cnt >= s->max_fail) {
                    sensor_close_fd(s);
                    s->retry_cnt ++;
                    calc_backoff_time(s, now_ms);
                    s->state = STATE_WAIT_RECONNECT;
                }
            }
            break;
        case STATE_HEART_FAIL:
            // 持续心跳失败，准备关闭重连
            break;
        case STATE_WAIT_RECONNECT:
            if(now_ms >= s->next_reconnect_ts) {
                s->state = STATE_IDLE;
            }
            break;
    }
}

// 指数退避+随机抖动计算
void calc_backoff_time(EthSensor *s, uint64_t now)
{
    int wait = s->base_retry_ms * (1 << (s->retry_cnt - 1));
    if(wait > s->max_retry_ms) wait = s->max_retry_ms;
    // ±10% jitter
    float jitter = 0.9 + 0.2 * (rand() / (float)RAND_MAX);
    wait = wait * jitter;
    s->next_reconnect_ts = now + wait;
}

框架说明：只展示状态机、退避、单调时钟核心思路，实际工程还需要epoll事件回调、Modbus报文解析、粘包处理、事务管理、告警回调、日志打印、配置持久化。国产嵌入式平台，编译时直接aarch64交叉编译，适配麒麟嵌入式系统。

九、测试用例清单（上线前必测）

1. 正常轮询：持续72h稳定采集温湿度，心跳不丢包；
2. 网线拔插测试：拔网线，等待连续3次心跳失败，进入重连退避；插回网线，自动重连恢复；
3. 传感器断电上电：断电后识别离线，上电后自动重连上线；
4. 网络风暴压力：网关同时接入50台传感器，全部断开，验证重连抖动，不会同步并发建连；
5. 半开连接测试：传感器突然断电，没有发送RST包，验证应用心跳超时识别，不会假在线；
6. 传感器Modbus卡死测试：TCP正常握手，不回复Modbus报文，验证持续心跳失败，持续告警；
7. NTP时间跳变测试：校时修改系统时间，验证心跳逻辑不受影响（依赖CLOCK_MONOTONIC）；
8. 长时间稳定性测试：连续7天运行，监控网关fd数量，确认无句柄泄漏；
9. 端口关闭测试：传感器502端口被防火墙拦截，connect直接失败，走退避，不疯狂重试；
10. 告警防抖测试：瞬断10s恢复，不触发离线告警；持续超过90s失效，正常上报告警。

十、工程落地的配套设计（对接上层动环平台）

驱动层向上层平台输出标准化状态，而不是只上报温湿度数值：

• 测点状态枚举：在线正常、TCP连接中、业务失联、离线、禁用；
• 每一条上报数据携带状态标记，平台前端灰色标记无效测点，避免展示错误温湿度；
• 日志分级：DEBUG（报文）、INFO（上线、下线）、WARN（心跳失败）、ERROR（连接异常）；日志写入本地flash，支持导出，用于档案馆项目故障溯源；
• 配置持久化：传感器IP、心跳周期、超时、退避参数保存在配置文件，网关重启自动加载；
• 运维接口：提供本地调试CLI，手动触发重连、查看当前传感器状态、打印最近收发报文，现场调试不用重新编译固件。

同时适配智慧档案馆项目需求：所有传感器离线事件、恢复事件写入审计日志，记录时间、传感器点位、IP地址，满足DA/T 42-2022库房监控可追溯要求。

十一、总结

以太网温湿度传感器Modbus TCP接入的核心难点，不在于TCP连接本身，而在于区分TCP链路连通性和业务有效性，以及可控的断线重连。单纯依靠TCP内核Keepalive无法解决传感器Modbus服务卡死带来的假在线问题，工程上必须采用应用层心跳作为主检测手段，复用温湿度读取报文作为心跳包，搭配TCP Keepalive兜底。基于有限状态机管理连接生命周期，使用带随机抖动的指数退避算法，避免网络雪崩；使用CLOCK_MONOTONIC单调时钟规避NTP校时带来的计时错乱；严格管理socket生命周期，防止句柄泄漏；增加告警防抖窗口，过滤POE闪断、网线抖动等瞬态故障。

这套逻辑在档案馆库房、机房动环、变电站温湿度监控项目中经过批量落地验证，适配国产飞腾、瑞芯微边缘网关，在麒麟、统信嵌入式系统稳定运行，能够有效降低现场运维的故障排查成本，解决以太网传感器最常见的“假在线、疯狂重连、误告警”三大痛点。在实际项目中，可以基于这套驱动框架，扩展到Modbus TCP压差传感器、PM2.5复合传感器、智能恒湿净化一体机等其他以太网物联网设备。