浙大港大开源LayerRecall：6.6MB轻量路由器解决AI视频”角色变脸”难题

会懂网AI资讯，9月6日，浙江大学与香港大学团队提出轻量化视频记忆路由器LayerRecall，针对自回归视频模型”主角离场再回来就换脸换衣”的遗忘问题，通过选择性记忆注入让模型”有选择地回忆”，相关代码与训练链路已一并开源。

自回归视频生成的工作方式是逐帧预测，长视频中角色一旦离开画面，模型对该角色的身份记忆会随上下文窗口滑动而衰减，再次登场时便出现容貌、服装甚至身份的漂移。这是长视频生成走向实用的核心障碍之一，业界普遍依赖重绘、参考图注入等后期手段补救。

LayerRecall的思路是”找对记忆、用对层”：一个仅约165万参数、6.6MB权重的轻量路由器，在模型推理时动态决定从历史片段中检索哪些记忆、注入到哪些层，让角色信息在需要时被精准唤回。由于路由器独立于主干模型，无需重训视频模型即可插入使用。

在MemoBench等多项记忆评测中，LayerRecall超越了多个基线方案，且额外的推理开销极小。这种”外挂式”设计让它在商业闭源模型与开源模型上都具备适配潜力，属于典型的以小博大的研究路线。

对内容创作行业而言，角色一致性直接决定AI生成视频能否进入叙事级制作：广告、短剧、动画都要求主角”全程是同一个人”。轻量记忆路由若与主流视频模型结合，长镜头叙事与多线故事的自动化生产将大幅简化，浙大港大的开源也为后续研究提供了可复现的基线。

LayerRecall的意义还在于示范了一条”小模型治理大模型“的技术路线：不动预训练权重，而以即插即用的轻量组件解决系统性缺陷，这种模块化思路与外挂记忆、检索增强一脉相承，是当前大模型工程中最具性价比的改进范式之一。对国内高校团队而言，这种精准切题的开源产出也证明，在算力不占优的条件下，机制创新依然能在大厂林立的赛道做出世界级成果。