英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍
2026-11-06 00:11   
来源: 云财经   
影响力评估指数:17.03  
云财经讯,英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。
云财经智能匹配相关概念
| 新闻标题 | 时间 | 消息来源 | 新闻热度 |
|---|---|---|---|
| 达美航空CEO:上调票价未遇阻力。 | 11-12 23:03 | 云财经 |
|
| 也门胡塞武装称使用无人机袭击了延布地区的泵站。 | 11-12 03:05 | 云财经 |
|
| 当地时间11日,俄罗斯武装力量总参谋部表示,俄乌双方将进行战俘交换,双方各有超过1000人被纳入交换名单。(央视新闻) | 11-11 20:31 | 云财经 |
|
| 龙蟠科技:拟出售三级控股子公司76%股权 | 11-11 19:13 | 云财经 |
|
| 英伟达(NVDA.O)盘前涨幅扩大至5%,此前两个交易日累计下跌9.5%。 | 11-11 18:32 | 云财经 |
|
| 大众品牌在中国的新能源车销量创纪录 显现扭转颓势迹象 | 11-11 17:11 | 云财经 |
|