GPT-6 Astra夺Vending-Bench 2冠军 收益近3倍于Claude Fable 5.1

GPT-6 Astra夺Vending-Bench 2冠军 收益近3倍于Claude Fable 5.1

会懂网AI资讯,9月14日,OpenAI旗下模型GPT-6 Astra在Vending-Bench 2基准测试中拿下冠军。测试以500美元本金模拟经营自动售货机一整年,其最终平均余额达到15515美元,这也是OpenAI首次夺下该项测试的第一名,在此之前榜首长期由其他厂商保持。

对比更为直观:同为前沿模型的Claude Fable 5.1在相同设定下的最终余额为5422美元,GPT-6 Astra的成绩接近其三倍。差距并非来自单笔交易的运气,而是在长达数百个决策周期的复利效应下被逐步拉开的,而不是单次大额交易带来的偶然结果。

测试报告指出,GPT-6 Astra在两项能力上表现得更为突出:一是议价能力,最高可将采购价砍下52%;二是规则执行的稳定性,在长周期任务中较少出现中途偏离约束、遗忘前置条件或者账目记错的情况。这两点恰好是长期经营中最容易失分的地方。

Vending-Bench 2的设计初衷,正是衡量智能体在长时程、弱监督环境下的自主经营水平。与一次性问答不同,这类任务要求模型持续记账、补货、定价并应对随机事件,任何一次失误都会累积到最终结果上,同时也考验模型的资源调度能力。

这也是业界将此次夺冠视为Agent长期自主经营能力有力验证的原因。过去智能体的表现多集中在分钟级任务上,如今正在向以月为单位的连续运行延伸,这一跨越对记忆、规划与自我纠错提出了全新要求,早期一次小错误会在后续决策中被不断放大,容错空间被明显压缩。

需要注意的是,模拟环境与真实商业之间仍有距离,供应链、合规与客户关系等关键因素并未被完全建模。但这类基准的持续迭代,为衡量智能体能否真正托管一段业务流程,提供了可比较、可追踪的量化口径,对企业评估智能体可用性具有参考价值。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容