会懂网AI资讯,9月4日,据财联社报道,美光科技正在探索开发高耐久性NAND闪存模块的方案,研究如何把NAND更靠近GPU,以提升I/O速度、带宽与读取速度。与此同时,谷歌为突破内存瓶颈,甚至通过拆解退役服务器回收可用的DDR4组件。

两条消息指向同一个现实:AI算力的瓶颈,正从“算不够快”转移到“内存不够用、不够近”。大模型推理时,权重与KV缓存需要频繁在内存与计算单元之间搬运,距离越远、带宽越窄,算力就被越浪费在等待上。
美光的思路是从存储层入手,用高耐久NAND补位DRAM在容量上的不足,并把数据放得离GPU更近;谷歌则更“接地气”,连退役服务器的DDR4都要拆下来回收,侧面说明先进内存的紧缺已经到了需要精打细算的地步。
这背后还有一层产业含义:HBM与DDR5的产能被优先供给AI服务器,普通DRAM与NAND供给被系统性压缩,价格持续上行。对下游厂商而言,内存不再只是采购清单里的一个条目,而是决定交付节奏与成本结构的关键变量。
从趋势看,存储与计算的融合正在加速。无论是美光把NAND往GPU靠,还是各家探索CXL内存池化,本质都是让“数据离算力更近”。当模型推理逐渐主导AI工作负载,内存层次的设计会像当年的缓存设计一样,成为决定性能与成本的核心变量。
可以预见,接下来围绕“近存计算”与“内存池化”的创新会加速。谁能用更低的成本让数据离GPU更近一步,谁就能在推理时代拿到实打实的性能与成本红利。
会懂网判断,AI基础设施的竞争正在进入“内存墙”阶段。算力可以靠堆卡,但内存的带宽、容量与功耗改善要慢得多。谁能在存储层次设计上先破局,谁就能在同等GPU投入下拿到更高的实际吞吐。这才是下一轮算力效率竞争的主战场。






















暂无评论内容