会懂网AI资讯，9月26日，近日，Inferact用16块谷歌TPU v7即Ironwood运行Kimi K3，每秒跑出709个词元，比16块英伟达GB200的452个快57%。这反映出人工智能技术正在从单点突破走向系统级能力的构建，企业与应用侧对此高度关注。在算力供给持续扩张与推理成本快速下行的背景下，这类进展对开发者和行业用户都意义重大。
具体来看，该公司团队来自vLLM原班人马，今年获得a16z领投的1.5亿美元种子轮，估值8亿美元。业内普遍认为，相关能力的成熟将直接拉动上下游生态的协同创新与商业落地速度。从产业节奏看，头部厂商正把模型能力转化为可直接调用的服务，竞争焦点已转向工程化与可用性。对用户而言，此类更新意味着更低的使用门槛与更稳定的体验，智能助手的实用价值持续提升。
从技术细节出发，性能差距的来源不是芯片本身，而是其为TPU编写的megakernel内核，把推理时需要调度的几百个小程序合成一个大程序，并叠加了DeepSeek的DSpark框架。值得关注的是，开源与开放策略正在改变技术扩散的路径，中小团队也能借此快速构建应用。在监管与合规要求趋严的环境下，厂商在能力扩张的同时也更强调安全与可控。
在产业层面，测试中两边同样使用vLLM引擎与同一模型，唯一变量是芯片与kernel，这说明第三方工程能力正在成为硬件竞争力的放大器。多方数据显示，AI 应用的渗透率仍在快速提升，真实场景的反馈正反过来推动模型迭代。这类进展也折射出国内外在基础模型与智能体方向上的投入力度与路线差异。从长远看，模型与算力、数据的协同优化，将决定下一阶段智能应用的上限。
对开发者与企业用户而言，对推理市场而言，这条消息的意义在于打破了以英伟达为唯一基准的选型惯性，当软件栈足够成熟，替代方案的性价比会快速显现。相关团队表示，后续还会围绕稳定性、成本与场景适配持续打磨，让能力真正可用好用。市场分析认为，谁先在大模型与Agent的工程化上建立优势，谁就更可能在下一轮竞争中占先。
展望后续，同时也提示模型厂商，推理成本的下探不仅来自模型侧的算法优化，也来自底层kernel与调度框架的工程改进，两者的收益可以叠加。相关进展将持续影响行业格局，值得长期跟踪。这反映出人工智能技术正在从单点突破走向系统级能力的构建，企业与应用侧对此高度关注。在算力供给持续扩张与推理成本快速下行的背景下，这类进展对开发者和行业用户都意义重大。
暂无评论内容