端侧首个百万Token上下文模型开源:讯飞星火X2.5让小模型”干大活”

会懂网AI资讯获悉,9月1日,科大讯飞全资子公司词元星火正式推出并开源星火X2.5-4B与星火X2.5-1.7B两款端侧通用大模型,这是端侧模型中首个原生支持最长100万Token上下文窗口的模型,标志着端侧智能从”能对话”向”能干活”跨越。

过去端侧模型处理长内容常需把文档切块分段,导致遗忘前情、遗漏信息。星火X2.5采用混合注意力架构,基于千亿Token级高质量数据训练,可在一次任务中接收并理解更大规模信息。以产品售后为例,导入完整手册后,模型能关联跨章节的退换货、故障处理与例外规定,给出综合判断。

“看得全”之外,模型强化了”动手”能力。在个人办公场景,可编写脚本完成数据汇总与趋势分析,生成约3000字双语业绩报告并校验排版;代码开发场景中,星火X2.5-4B在算法实现、代码补全等任务上可对标参数规模大2至3倍的云端模型。

讯飞星火X2.5端侧模型

智能家居测试集上,星火X2.5-1.7B控制指令端到端执行正确率达90.3%,平均响应仅0.85秒;在机器人场景,模型可部署于本体或边缘设备,支持操作控制、目标追踪与导航决策,减少对云端连接与预设程序的依赖。

两款模型基于全国产算力平台完成全流程训练,使用约20万亿Token预训练,适配英伟达、华为、海光及后摩等硬件,兼容vLLM、SGLang、llama.cpp等框架,已上线Hugging Face、GitHub与讯飞星辰MaaS平台。业内认为,百万上下文加工具调用正让端侧”小巨人”接管越来越多本地任务。

端侧模型的竞赛,本质是把云端的能力与隐私一并留在本地。随着手机、汽车、家电与机器人普遍内置大模型,星火X2.5这类“小巨人”或将成为普通人接触AI最频繁的入口。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容