4 月 30 日报道，今日，小米开源其首个推理大模型 Xiaomi MiMo。其中经强化学习训练形成的 MiMo-7B-RL，在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上，仅用 7B 参数量，得分超过了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 开源推理模型 QwQ-32B-Preview。
在相同强化学习训练数据情况下，MiMo-7B-RL 在数学和代码推理任务上均表现出色，分数超过 DeepSeek-R1-Distill-7B 和 Qwen2.5-32B。
MiMo 是新成立不久的小米大模型 Core 团队的初步尝试，4 款 MiMo-7B 模型（基础模型、SFT 模型、基于基础模型训练的强化学习模型、基于 SFT 模型训练的强化学习模型）均开源至 Hugging Face。代码库采用 Apache2.0 许可证授权。
开源地址：
https://huggingface.co/XiaomiMiMo
小米大模型 Core 团队已公开 MiMo 的 26 页技术报告。
技术报告地址：
https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf
受此消息提振，截至午间休市，小米集团今日股价上涨 4.74%，总市值 1.29 万亿港元（约合人民币 1.21 万亿元）。
一、预训练 + 后训练，联动提升推理能力
MiMo 系列模型从零开始训练，其推理能力的提升由预训练和后训练阶段中数据和算法等多层面的创新联合驱动，包括：
预训练：核心是让模型见过更多推理模式
数据：着重挖掘富推理语料，并合成约 200B tokens 推理数据。
训练：采用三阶段数据混合策略，逐步提升训练难度，MiMo-7B-Base 在约 25T tokens 上进行预训练；受 DeepSeek-V3 启发，将多 token 预测作为额外的训练目标，以增强模型性能并加速推理。
使用 MiMo-7B 实现多 token 预测：在预训练期间使用单个 MTP 层，推理阶段可使用多个 MTP 层以获得额外的加速
后训练：核心是高效稳定的强化学习算法和框架
算法：提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题，并引入 Easy Data Re-Sampling 策略，以稳定强化学习训练。
数据：精选了 13 万道数学和代码题作为强化学习训练数据，可供基于规则的验证器进行验证。每道题都经过仔细的清理和难度评估，以确保质量。仅采用基于规则的准确率奖励机制，以避免潜在的奖励黑客攻击。
框架：设计了 Seamless Rollout 系统，集成了连续部署、异步奖励计算和提前终止功能，以最大限度地减少 GPU 空闲时间，使得强化学习训练加速 2.29 倍，验证加速 1.96 倍。
MiMo-7B-RL Seamless Rollout 引擎概览
二、7B 强化学习模型，性能超过阿里 32B 模型和 OpenAI o1-mini
小米大模型 Core 团队将 MiMo-7B-Base 与 Llama-3.1-8B、Gemma-2-9B、Qwen2.5-7B 等规模相当的开源基础模型进行了比较，所有模型评估都共享相同的评估设置。
结果如图所示，MiMo-7B-Base 在所有基准和评估的 k 值取得了高于其他对比模型的 pass@k 分数。随着 k 增加，MiMo-7B-Base 与其他模型的分数差距稳步拉大，特别是在 LiveCodeBench 上。
在评估语言推理模型的 BBH 基准测试上，MiMo-7B-Base 的分数为 75.2 分，比 Qwen2.5-7B 高出近 5 分。SuperGPQA 基准测试结果展示出 MiMo-7B-Base 在解决研究生水平问题方面的出色表现。在阅读理解基准测试 DROP 上，该模型的表现优于其他对比模型。
在代码和数学推理任务中，MiMo-7B-Base 的多项分数超过 Llama-3.1-8B、Gemma-2-9B。
MiMo-7B-Base 在支持的 32K 上下文长度内实现了近乎完美的 NIAH 检索性能，并在需要长上下文推理的任务中表现出色，多数情况下分数都超过了 Qwen2.5-7B。这些结果验证了其在预训练期间将多样化数据与高质量推理模式相结合的策略的有效性。
RULER 上的长上下文理解结果
MiMo-7B-RL 在多项通用基准测试接近或超过拥有 32B 参数规模的 QwQ-32B Preview 模型，数学和代码性能更是全面领先。
在数学基准测试 AIME 2025 测试、代码基准测试 LiveCodeBench v6 中，MiMo-7B-RL 的得分均超过 OpenAI o1-mini。
MiMo-7B 系列 4 款大模型的多项数学和代码测试对比如下：
结语：今年大模型的三大热点，MiMo 一举覆盖
今年，在 DeepSeek 爆红后，开源和推理迅速成为大模型领域的热门风向。如今低调许久的小米也正式加入这一战局。
作为国产手机头部企业之一，小米这次开源的四款模型参数规模只有 7B，小到可以满足在端侧设备上本地运行的需求，贴合了大模型的另一大趋势——从卷参数规模转向追求经济高效。
通过在预训练和后训练过程中的多项创新联动，MiMo-7B-Base 在数学、代码和通用任务上都展现了出色的推理能力。这项研究可以为开发更强大的推理模型提供参考。
暂无评论内容