上海AI实验室开源书生-S2 可插拔记忆解码器不改主模型参数

上海AI实验室开源书生-S2 可插拔记忆解码器不改主模型参数

会懂网AI资讯,9月15日,上海人工智能实验室在浦江创新论坛发布多模态大模型书生-S2。官方表示其通用能力位列开源第一梯队,同时能在生命科学与材料结构类科学任务上大幅领先现有的开源与闭源旗舰模型。选择在大型行业论坛这一公开场合发布,也体现出书生-S2面向科研方向的定位。

架构层面,书生-S2引入了可插拔的Memory Decoder专业记忆模块,在不改动主模型参数的前提下即可接入领域知识。这种设计思路与全参数微调或继续预训练明显不同,主模型的通用能力得以完整保留,专业领域能力则以插件形式叠加,切换也很方便。

官方给出的数据显示,接入生物记忆后,模型在Biology-Instructions基准上的均分从56.92提升至60.32,且通用能力不受损。这一结果支撑了可插拔记忆的技术价值,即在几乎不牺牲通用表现的情况下获得专业领域的增量提升,避免了常见的灾难性遗忘。

同场还预告了首个万亿Token规模的隐空间语言模型NCP-ArchPreview,该模型以概念级预测实现1.95倍收敛加速。隐空间建模的思路是跳过逐Token的低层预测,直接对更高层语义概念建模,是近期语言模型架构探索中颇受关注的一个方向。

应用层面,书生-S2将接入书生·端砚科学发现平台。对于生命科学、材料科学这类数据稀缺、标注成本高昂的领域,模型与科研平台的绑定意味着验证不再是单次评测打分,而是嵌入到实际的科研工作流中接受长期检验,反馈也更贴近真实需求。

从产业视角看,科学智能正在成为通用大模型差异化竞争的重要赛道。通用能力决定产品的下限,专业任务上的领先决定上限,而可插拔架构给出了一条在不反复重训基座的前提下持续迭代领域能力的工程路径,后续开源安排值得持续关注。对国内科学智能生态而言,这类把底座能力开放出来的做法,意义往往超出模型本身。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容