推理加速共5篇

Groq 3 LPX量产NVIDIA收购资产,超低延迟推理纳入大生态

Groq 3 LPX量产NVIDIA收购资产,超低延迟推理纳入大生态-会懂网
会懂网AI资讯,10月1日,近日,Groq在9月宣布Groq 3 LPX全面量产,该卡基于NVIDIA方案,使Gemma 4 31B在十万Token上下文下达到约三千四百Token每秒,速度约为前代的四倍。这反映出人工智能技术...
huidong的头像-会懂网huidong12天前
0355

NVIDIA以Rubin平台巩固算力主导,纳入高速Token加速器强化推理性价比

NVIDIA以Rubin平台巩固算力主导,纳入高速Token加速器强化推理性价比-会懂网
会懂网AI资讯,9月30日,近日,NVIDIA持续以Rubin与Vera Rubin平台巩固其在AI算力市场的主导,并通过收购Groq相关资产把高速Token生成加速器纳入自家技术栈,强化推理端的性价比叙事。这反映出...
huidong的头像-会懂网huidong14天前
0456

Cerebras联手Gimlet推CS-4百兆瓦推理,晶圆级引擎专攻低延迟大模型

Cerebras联手Gimlet推CS-4百兆瓦推理,晶圆级引擎专攻低延迟大模型-会懂网
会懂网AI资讯,9月30日,近日,Cerebras于9月28日与Gimlet Labs达成合作,基于CS-4系统提供约一百MW的推理容量,目标实现每秒三千Token的推理速度,并计划于2027年上线。这反映出人工智能技术正...
huidong的头像-会懂网huidong14天前
0558

Groq 3 LPX专用Token加速器9月量产,Gemma 4 31B推理速度达每秒3431词元

Groq 3 LPX专用Token加速器9月量产,Gemma 4 31B推理速度达每秒3431词元-会懂网
会懂网AI资讯,9月29日,近日,英伟达Groq 3 LPX于9月进入全面量产,这是专为Vera Rubin平台设计的Token生成加速器,定位在大规模推理场景中极致压低首字延迟与提升吞吐。这反映出人工智能技术...
huidong的头像-会懂网huidong14天前
0528

云知声发布U2-Flash高密度智能模型 峰值吞吐达300 tokens/s

云知声发布U2-Flash高密度智能模型 峰值吞吐达300 tokens/s-会懂网
会懂网AI资讯,9月15日,云知声正式发布新一代高密度智能模型U2-Flash。该模型基于U2通用基座强化后训练,采用稀疏混合专家MoE架构,总参数约266B,但单次推理仅激活约10B参数,激活比例不到4%...
huidong的头像-会懂网huidong27天前
04711