不用回放缓冲的持续学习：我们用动态任务相似度路由得到的发现

大家好，

我最近在持续学习这块做了一些工作，想分享一下我们开源的一个框架 Coincidex，以及过程中总结出的架构思路和踩过的坑

传统的序列任务学习方案，大多严重依赖回放缓冲区（会带来很大的内存和隐私开销），或者要用人工精细调参的任务掩码我们想试试，能不能完全靠一个上下文驱动的任务相似度层来做动态数据路由，从而把这两样都抛掉

我们的做法： 框架不需要缓存历史样本去防止灾难性遗忘，而是直接替换单层随着序列数据不断流入，它会实时计算任务相似度矩阵，并依据这个上下文来分配数据路径

研究结论与权衡： 我们花了很多时间和基线方案做对比测试，下面说说实际跑下来到底是什么情况：

好用的地方： 动态路由在任务边界清晰时表现意外地好在小规模持续视觉任务里，不需要手动调掩码，也不用存旧数据，就能实现平滑的知识迁移

翻车的地方（失败模式）： 这里不夸海口，相似度层确实有明确的局限性在高度混乱长尾分布且数据分布剧烈变化的任务序列上，和 heavy replay-buffer 的基线比，路由模型很难维持稳定

为什么拿出来分享： 我们做这个框架，是给那些受内存或隐私限制根本没法用回放缓冲区的场景，提供一个轻量替代方案

很希望社区一起来看我们的路由架构，特别是：怎么在更粗糙的任务序列里解决这些失败模式，以及在不同检查点把相似度矩阵可视化方面，大家有什么想法