当前位置: CompoTech China > 业界资讯 >
 

当训练转向推理,Agent AI的下一个瓶颈在哪里?

本文作者:铠侠       点击: 2026-10-27 18:36
前言:
由于AI应用范围快速增加,生成式 AI 正从提问、回答模式,快速演进为让 AI干活的AI Agent模式。特别是年初的OpenClaw龙虾兴起,再到年末各式各样的AI Agent进驻到人们生活中,AI Agent无疑成为了今年的主流话题,互相协作的Agentic AI也注定会成为未来的趋势。

AI Agent注定了数据量与处理量呈指数级增长。过去资源主要投入模型训练,未来在使用现场进行推理(inference)的资源将成为关键。如果展望未来,物理AI更是对实时处理提出了更为苛刻的需求,通过即时摄取三维空间与时间数据并即时反馈推理结果,诸如机器人等物理AI形式才可以实现。

因此我们可以看到,AI使用方式的转变已经带来算力需求上的变化,一场关于存储结构的变化与升级,变成下一轮AI升级中的关键。
 

HBM容量受限,GPU不能靠蛮力升级

推理负载下,KV缓存必须放在离GPU计算单元最近、带宽最高的HBM里,不能放CPU内存或SSD,否则每生成一个token都要付出读取延迟。单纯扩大模型规模时,GPU算力是核心瓶颈。但Agent AI进行多轮深度推理时,由于KV Cache存储量随序列长度严格线性增长,Agent AI每轮推理都会持续加压,这导致HBM容量与带宽成为首要瓶颈。

HBM容量越大,自然要求堆叠层数越多,但即便是未来的HBM5,乃至HBM7和HBM8,最高的堆叠层数也只能说是杯水车薪,同时与之而来的是良率与散热非线性增长压力,并让成本居高不下。同时受限于HBM的产能紧缺,事实上包括Rubin Ultra在内的HBM配置,也正在下调容量,一个能够快速替代HBM,并且物美价廉的方案迫在眉睫。正因为如此,GPU直连SSD的方案进入了我们的视野。

让SSD充当GPU的缓存,就必须跳出传统的数据路径。传统路径中,数据从SSD到GPU显存要经过内核页缓存、CPU、GPU三段式搬运,因此存在弹跳缓冲区(Bounce Buffer)效应,即CPU参与中间拷贝成为瓶颈、多次搬运抬高端到端延迟、数据在PCIe总线上往返占用双倍带宽。这个过程可能会导致AI训练中,有30%以上时间耗费在数据加载环节。

NVIDIA引入的GPU Direct Storage的概念,基于CUDA与NVIDIA驱动,支持NVMe的存储设备建立GPU显存与存储设备之间的直达。这个概念最初是为训练场景的数据加载而生,2026年的关键变化是它被升格为推理内存架构的一部分,也就是我们现在常见的Storage-Next存储架构。
 

在Storage-Next存储架构中,由GPU发起I/O,并具备512字节细粒度访问、接近内存的访问延迟、多盘池化扩展、单次I/O能耗最小化等操作。这也意味着,需要存储产品对Storage-Next架构针对性优化,例如铠侠就专门为Storage-Next构建了针对性的SSD产品,以有效满足GPU可访问内存的需求。

在CES 2026期间,NVIDIA还发布了推理上下文内存存储平台(ICMS),并在后来的GTC 2026上进一步给出BlueField-4 STX参考架构,其首个机架级实现是CMX上下文内存存储平台,通过高性能上下文层扩展GPU内存,支撑可扩展推理与Agent AI系统。

可以看到,NVIDIA的论证逻辑与铠侠是一致的。KV缓存随序列长度和批大小增长,多租户处理百万级token上下文时会耗尽HBM,构建面向KV缓存的专用存储层可以很好地解决这个问题。

铠侠GP系列:首款面向GPU直连的SSD

在GTC 2026期间,铠侠首次发布了全新的GP系列企业级SSD,这是业界首款针对GPU发起负载优化的企业级SSD产品。在8月份FMS 2026期间,铠侠正式推出了首款量产产品GP1,具备PCIe 6.0规格,并获得了FMS 2026专业存储类别的最佳展示奖。不仅如此,基于第三代XL-FLASH的GP系列也蓄势待发,512字节随机读取超过2000万IOPS,较8月GP1的1000万IOPS再翻一倍,向着铠侠所规划的1亿IOPS性能进发。
 

值得注意的是,GP系列非常看重512字节小粒度性能表现,这是因为LLM的KV缓存和GPU缓存行都是小块数据,针对海量微小随机I/O优化而非大块的顺序传输,才能高效服务这些缓存,如果配备更高性能的XL-FLASH,无疑还能将性能向前推进一大步。

除了铠侠GP系列,铠侠在近段时间也开启了密集更新模式。旗舰级铠侠CM系列能够很好地兼顾性能与容量均衡,可以很好地支持KV缓存方案,并且拥有亮眼的顺序读性能和高可靠性。铠侠LC系列配备了高密度大容量QLC闪存,面向AI训练及推理结果数据池设计。而在未来,蓄势待发的Nearline SSD产品线也将以替代HDD为目标,帮助企业优化总体拥有成本(TCO)。
 

此外,铠侠还开发了KIOXIA AiSAQ向量数据库检索软件,把向量数据库直接部署到SSD上,检索速度可比肩内存方案,已开源并集成进Milvus向量数据库,用于应对未来RAG数据量的增长。

生成式AI变化极快、规格难以一次定稿,铠侠将与NVIDIA及用户持续对话,保持在存储创新前沿。同时对话的背后,是一个愈发清晰的行业共识,当AI的竞争从模型训练转向加速推理,胜负手已不再只是GPU算力本身,而是数据在算力与存储之间流动的效率,存储正从AI系统的配角走向台前。

或许用不了多久,当我们回顾这一轮AI基础设施的演进,会发现真正的拐点并非某一次算力的跃升,而是存储被重新定义的那个时刻。当每一比特数据都能以更短的路径、更低的功耗抵达GPU,AI的想象力才真正挣脱了内存容量的枷锁。当数据成为算力的衡量标准之一,铠侠已经为其做好了万全准备。