智谱发布新模型,GLM-4 系列比肩 GPT 等

智谱昨日发布博文,宣布推出新一代 GLM-4-32B-0414 系列模型,320 亿参数,效果比肩 OpenAI 的 GPT 系列和 DeepSeek 的 V3 / R1 系列,且支持非常友好的本地部署特性。

智谱发布新模型,GLM-4 系列比肩 GPT 等插图

该系列模型共有 GLM-4-32B-Base-0414、GLM-Z1-32B-0414、GLM-Z1-Rumination-32B-0414 和 GLM-Z1-9B-0414 四款模型。

GLM-4-32B-Base-0414

在预训练阶段,该模型采用 15T 高质量数据,其中包含大量推理类的合成数据,这为后续的强化学习扩展打下了基础。

在后训练阶段,除了针对对话场景进行了人类偏好对齐外,团队还通过拒绝采样和强化学习等技术强化了模型在指令遵循、工程代码、函数调用方面的效果,加强了智能体任务所需的原子能力。

GLM-4-32B-0414 在工程代码、Artifacts 生成、函数调用、搜索问答及报告等方面都取得了不错的效果,部分 Benchmark 甚至可以媲美更大规模的 GPT-4o、DeepSeek-V3-0324(671B)等模型。

GLM-Z1-32B-0414

该模型是具有深度思考能力的推理模型,在 GLM-4-32B-0414 的基础上,通过冷启动和扩展强化学习,以及在数学、代码和逻辑等任务上对模型的进一步训练得到的。

相对于基础模型,GLM-Z1-32B-0414 显著提升了数理能力和解决复杂任务的能力。在训练的过程中,该团队还引入了基于堆栈排序反馈的通用强化学习,进一步增强了模型的通用能力。

GLM-Z1-Rumination-32B-0414

该模型是具有沉思能力的深度推理模型(对标 Open AI 的 Deep Research)。

沉思模型通过更长时间的深度思考来解决更开放和复杂的问题(例如:撰写两个城市 AI 发展对比情况,以及未来的发展规划),结合搜索工具处理复杂任务,并经过利用多种规则型奖励来指导和扩展端到端强化学习训练得到。

GLM-Z1-9B-0414

这是一个开源 9B 小尺寸模型,在数学推理和通用任务中依然展现出极为优秀的能力,其整体表现已处于同尺寸开源模型中的领先水平。

测试结果

GLM-4 系列在多项基准测试中表现优异。例如,在 IFEval 指令遵循测试中得分 87.6;在 TAU-Bench 任务自动化测试中,零售场景得分 68.7,航空场景得分 51.2;在 SimpleQA 搜索增强问答测试中得分 88.1。

模型

IFEval

BFCL-v3 (Overall)

BFCL-v3 (MultiTurn)

TAU-Bench (Retail)

TAU-Bench (Airline)

SimpleQA

HotpotQA

Qwen2.5-Max

85.6

50.9

30.5

58.3

22.0

79.0

52.8

GPT-4o-1120

81.9

69.6

41.0

62.8

46.0

82.8

63.9

DeepSeek-V3-0324

83.4

66.2

35.8

60.7

32.4

82.6

54.6

DeepSeek-R1

84.3

57.5

12.4

33.0

37.3

83.9

63.1

GLM-4-32B-0414

87.6

69.6

41.5

68.7

51.2

88.1

63.8

代码修复方面,GLM-4 在 SWE-bench 测试中的成功率达 33.8%。采用 MIT 许可的 GLM-4 降低了计算成本,为研究和企业提供了高性能 AI 解决方案。

模型

框架

SWE-bench Verified

SWE-bench Verified mini

GLM-4-32B-0414

Moatless[1]

33.8

38.0

GLM-4-32B-0414

Agentless[2]

30.7

34.0

GLM-4-32B-0414

OpenHands[3]

27.2

28.0

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享