会懂网AI资讯,9月17日,京东在全球科技探索者大会上正式开源JoyAI-Echo WM实时可交互世界模型,引发行业关注。该模型可根据用户的移动与视角变化持续生成动态世界,同步输出720P分辨率视频、环境音与语音,并支持第一人称与第三人称视角切换及多轮交互,在权威的WBench导航评测中登顶,标志着京东在物理世界生成与具身智能方向迈出关键一步。
JoyAI-Echo WM的核心能力在于实时可交互。与传统文生视频模型一次性生成固定片段不同,它能在用户持续输入移动指令与视角变化时被实时驱动,世界状态随之演化并保持连贯,仿佛一个可探索的虚拟环境。这种以交互为核心的生成范式,使模型不再只是内容生产者,更接近于可供智能体训练与仿真的世界引擎,应用想象空间覆盖游戏、机器人训练与数字孪生。
在输出规格上,模型同步提供720P视频、环境音与语音三种模态,实现了视觉、听觉与语言的一致表达。多模态同步输出对时序对齐与跨模态一致性提出极高要求,京东通过统一架构将感知与生成耦合,使画面、声音与语音在时间与语义上相互配合,增强了沉浸感与可用性,也为后续构建完整交互体验打下坚实基础。
视角与交互的灵活性是另一亮点。模型支持第一人称与第三人称双视角,并允许多轮连续交互,用户可在同一世界内反复试探与调整,观察环境如何响应自身行为。这种能力对具身智能研究尤其重要,因为机器人训练需要在多样化交互中学习目标与动作映射,而可交互世界模型恰好能提供低成本、可重复的仿真数据源,加速算法迭代。
WBench导航评测登顶验证了模型在导航任务上的领先性。该评测关注模型在未知环境中理解空间、规划路径与执行移动的能力,是衡量世界模型实用性的重要标尺。京东凭借该成绩展示出在生成质量与交互一致性上的综合实力,也与自身言犀大模型形成模型层加应用层的协同布局,拓宽了技术护城河,强化在生成式AI赛道的存在感。
从战略视角看,JoyAI-Echo WM的开源是京东在物理世界生成与具身智能方向的重要落子。它与京东言犀大模型相互支撑,前者负责理解并生成世界,后者负责语言与业务理解,二者结合可服务于物流仿真、无人仓训练与零售场景数字化。京东借此从电商基础设施提供商向AI基础能力输出方延伸,打开更广阔的技术商业化空间。






















暂无评论内容