2025年7月19日，会懂网资讯获悉，上海人工智能实验室联合新加坡国立大学、香港大学等顶尖研究机构，正式推出全球首个专为开放世界移动操作（Open World Mobile Manipulation, OWMM）设计的多模态智能体架构——OWMM-Agent。该成果首次实现了全局场景理解、机器人状态实时跟踪与多模态动作生成的端到端统一建模，标志着家庭服务机器人向“通用化、自主化”迈出关键一步。
技术突破：从“预设场景”到“开放世界”的跨越
传统家庭服务机器人在执行“清理餐桌并归位水果”等任务时，需依赖预先构建的3D场景地图或语义标注，难以应对动态环境变化。OWMM-Agent通过三大创新架构设计，攻克了这一难题：
-
多模态感知-推理-决策闭环
将开放世界移动操作建模为“多轮推理+动态定位”问题，使视觉语言模型（VLM）可直接输出机器人控制参数（如导航坐标、抓取点坐标），无需依赖预定义技能库。例如，在真实环境测试中，机器人仅通过模拟数据训练，即能以90%的准确率完成“将豆奶盒从书桌移至会议桌”等跨房间任务。 -
双记忆系统支撑长程任务
- 长期环境记忆：利用预映射阶段的多视角场景图像，构建全局空间认知能力，支持“从吧台取物并放置沙发”等复杂指令的空间推理。
- 瞬态状态记忆：以文本形式实时跟踪机器人状态（如“已抓取物体，距离目标2米”），辅助VLM生成上下文相关的动作序列。
-
仿真数据驱动的模型微调
针对VLM在机器人领域的“幻觉”问题，研究团队基于Habitat仿真平台生成20万条多模态数据（含143个场景、157类物体），通过符号世界建模标注物体坐标、机器人状态等真值信息，并引入GPT-4o重写思维链，最终微调出专用模型OWMM-VLM。在308次模拟测试中，380亿参数的OWMM-VLM-38B模型完整任务成功率达21.9%，远超基线模型的不足1%。
真实场景验证：零样本泛化能力显著
在Fetch机器人真机部署实验中，OWMM-Agent展现出强适应性：
- 跨场景任务：无需额外训练即可完成“整理书桌”“搬运杂物”等多样化指令，动作生成成功率达90%。
- 动态环境应对：当目标物体被移动时，机器人能通过实时视觉反馈重新规划路径，避免传统方法因环境变化导致的任务失败。
- 机械臂控制优化：通过函数调用传统路径规划器，突破复杂机械臂（如多指手）的控制局限，为未来精细化操作奠定基础。
产业影响：开启“一句话指挥机器人”时代
随着老龄化社会加速到来，家庭服务机器人市场需求激增。OWMM-Agent的突破为“会听、会看、会做”的通用家庭助手提供了核心技术底座：
- 技术普惠性：研究团队开源了基于Intern-VL2.5微调的OWMM-VLM模型，降低行业研发门槛。
- 应用场景拓展：除家庭服务外，该技术可迁移至物流仓储、医疗护理等领域，推动机器人从“单一任务工具”向“环境共融伙伴”演进。
专家评价：AI与机器人融合的里程碑
上海人工智能实验室负责人表示：“OWMM-Agent首次证明了通过大规模模拟数据微调的VLM模型，可成为开放世界移动操作的通用基础模型。未来，我们将联合产业界推动技术落地，让机器人真正走进千家万户。”
据悉，该成果已入选计算机视觉领域顶级会议，并获国际机器人权威期刊《IEEE Transactions on Robotics》专题报道。随着华为、MiniMax等企业同步推进智能体技术研发，2025年正成为“AI+机器人”深度融合的元年。
暂无评论内容