RSRCC：基于检索增强 Best-of-N 排序构建的遥感区域变化理解基准数据集

作者信息

作者：Roie Kazoom、Yotam Gigi、George Leifman、Tomer Shekel、Genady Beryozkin

单位：谷歌研究院（Google Research）

研究背景

1. 遥感图像变化检测（CD）传统上聚焦于定位变化发生的位置，多采用像素级或目标级预测，无法用自然语言解释变化的具体语义内容。
2. 现有遥感变化描述数据集仅对整幅图像的全局差异进行描述，缺乏针对局部区域、细粒度语义变化的推理监督，难以满足实际场景中对特定区域变化判定、语义类别识别的需求。
3. 细粒度变化类型与描述的人工标注成本高、速度慢、难以规模化，成为遥感变化理解领域的关键瓶颈。
4. 传统基于分割的变化检测方法仅输出机器可读的掩码，无法提供人类可理解的变化解释，且自由文本描述缺乏结构化 grounding，难以规模化评估。

研究目的

1. 填补遥感领域局部化、细粒度、语义化变化问答任务的空白，构建专门针对区域变化推理的基准数据集。
2. 设计可扩展、半自动化的数据构建流程，在降低人工标注成本的同时，保证数据的语义一致性与高质量。
3. 为多模态模型提供可训练、可评估的监督信号，推动遥感变化理解从全局场景总结向局部区域语义推理升级。
4. 解决传统变化检测与变化描述中存在的噪声、歧义问题，实现对有效语义变化的精准筛选与保留。

本文核心贡献

1. 首次提出RSRCC：全球首个面向遥感图像局部细粒度语义变化的问答基准数据集，包含12.6万条问答样本，划分训练集8.7万条、验证集1.71万条、测试集2.2万条，专注区域级变化推理。
2. 提出分层半自动化数据构建流水线：融合语义分割候选提取、图像-文本语义筛选、检索增强Best-of-N排序消歧，实现大规模高质量数据自动化生成。
3. 给出检索引导验证的理论解释：证明分布内检索与组限制条件可减少推理偏差，保留局部决策边界，降低分布外样本带来的影响。
4. 构建覆盖建筑、植被、道路、泳池等多类别变化的多样化样本集，可支撑遥感多模态模型在变化问答任务上的训练与评测。

研究方法

image

1. 数据来源：基于LEVIR-CD高分辨率遥感建筑变化检测数据集，覆盖城乡场景，分辨率约0.5米/像素。
2. 候选变化区域提取
   • 采用基于ViT-L编码器的Transformer分割模型，生成前后时相图像的语义分割掩码。
   • 通过连通域分析将像素级差异转化为目标级候选区域，结合自适应阈值过滤小区域、保证空间一致性与变化像素占比。
3. 语义初步筛选
   • 使用遥感领域微调的SigLIP图像-文本编码器，对前后裁剪区域进行编码，通过余弦相似度过滤虚假变化候选。
4. 歧义消除与验证
   • 对模糊候选执行检索增强Best-of-N排序：检索相似标注样本作为上下文，用LLM作为评判模型打分，保留高分有效变化。
5. 问答生成
   • 采用Gemini-2.5-Flash生成三类问答：封闭式多选题、Yes/No判断题、开放式描述题，保证语言多样性与语义准确性。
6. 实验设置
   • 验证模型：Gemma-3-4B、Gemini-2.5-Flash、Gemini-2.5-Pro等。
   • 评估指标：人类一致率、准确率、BLEU、BERTScore、CIDEr、SPICE。
   • 硬件环境：16块NVIDIA A100 40GB GPU。

研究结果

1. 数据质量：完整流水线（分割+编码器+Best-of-N）的人类一致率达98%，显著优于仅分割、仅编码器、零样本/少样本LLM等基线。
2. 人类评估表现
   • Yes/No题总准确率92.33%，多选题总准确率97.17%，开放式问题BERTScore达87.51%。
   • 随机裁剪测试中，流水线通过率仅0.2%，证明对噪声与无关区域的强过滤能力。
3. 模型基线性能
   • Gemini-2.5-Pro在各任务中表现最优，Yes/No题准确率68.32%，多选题48.76%，开放式BERTScore 37.57%。
   • 所有通用大模型在该数据集上均有较大提升空间，验证了RSRCC的挑战性与基准价值。
4. 数据统计
   • 总计处理10007对图像，包含89031个变化样本、37100个无变化样本，覆盖建筑、树木、道路、泳池等19个类别。

总结与展望

1. 研究总结
   • 本研究构建的RSRCC是首个面向遥感局部细粒度变化推理的问答基准，通过分层半自动化流水线实现了高质量、规模化的数据生成。
   • 该数据集弥补了现有遥感变化描述数据集缺乏局部推理监督的缺陷，为多模态模型提供了全新的评测与训练平台。
   • Best-of-N排序与检索增强验证有效解决了数据生成中的噪声与歧义问题，保证了数据的语义一致性。
2. 局限性
   • 当前方法依赖预定义语义类别，对未见过的视觉模糊变化或组合变化表现不佳。
   • 数据类别分布不均衡，建筑与树木类占比超64%，存在长尾分布问题。
3. 未来展望
   • 扩展数据集的语义类别，覆盖更多变化类型。
   • 探索半监督与开放词汇标注策略，提升对未知变化的适配能力。
   • 在更多LLM与视觉-语言编码器上进行跨模型泛化性评估，推动遥感变化理解技术发展。