随着 AI 对内存的需求不断增加,存储方案迎来升级
AI 需求的激增推动了对大型数据集和上下文窗口的需求,这些需求已突破系统内存的限制。 但是,仅增加更多的存储容量并不能满足日益增长的需求。我们需要的是来自 AI 工厂、有用且有扎实的见解,以及能够实现这些见解的高效、安全的存储架构。 在本周举办的 FMS (Future of Memory and Storage) 大会上,NVIDIA 发布了存储领域的最新进展,并展示了 AI 的下一次飞跃,不仅取决于计算能力本身,同样取决于为加速计算提供支持的存储基础设施。 随着 AI 智能体消耗大量数据,基
AI 需求的激增推动了对大型数据集和上下文窗口的需求,这些需求已突破系统内存的限制。
但是,仅增加更多的存储容量并不能满足日益增长的需求。我们需要的是来自 AI 工厂、有用且有扎实的见解,以及能够实现这些见解的高效、安全的存储架构。
在本周举办的 FMS (Future of Memory and Storage) 大会上,NVIDIA 发布了存储领域的最新进展,并展示了 AI 的下一次飞跃,不仅取决于计算能力本身,同样取决于为加速计算提供支持的存储基础设施。
随着 AI 智能体消耗大量数据,基础设施面临的压力越来越大,而 GPU 现在可以直接启动存储请求,从而生成数千个并发操作。
为了满足这些请求,存储系统必须不断加密、压缩、验证和重建数据。当数千个智能体同时访问存储时,这些关键数据服务可能会成为瓶颈。
NVIDIA 技术博客中公布的基准测试表明,NVIDIA Vera BlueField-4 STX 的 NVIDIA Vera CPU,在双阶段压缩和加密工作流中,可提供比 x86 CPU 高 3.21 倍的吞吐量。这意味着借助 Vera,存储平台可以更高效地吸收大量 AI 数据,以更少的计算基础设施提供更高的吞吐量。
借助加速计算,存储不再是被动保存数据的容器,而是成为数据路径的活跃参与者。
这颠覆了过去的经济学,即确定数据何时存放在内存 (应用程序可以更快地获取数据),还是存储驱动器 (可以将数据保存在廉价而充裕的空间中)。这种性能与成本的取舍,最初始于 40 年前,当时的衡量标准是分钟级的访问速度。而在当今的 GPU 上,借助 NVIDIA 及其合作伙伴的 AI 存储解决方案,这一过程缩短至微秒级。
缩小 AI 需求与内存短缺之间的差距取决于整个生态系统的极致协同设计,涵盖了从内存和存储制造商,到基于它们构建的软件。
开源 NVIDIA cuFile API 实现存储解决方案的互操作性
在 FMS 大会上,NVIDIA 宣布 cuFile 应用编程接口 (API) 及其下方的垂直存储软件堆栈可让 GPU,而不仅是 CPU,直接读取和写入存储。cuFile 是 NVIDIA GPUDirect Storage 的一个开源组件。
cuFile 使用数十万个 GPU 线程、快速的高带宽内存和其他方法,可在短短几微秒内安全地从存储中访问数据。
这代表了该行业如何基于 Linux 最佳实践统一安全优先的存储栈,实现 GPU 和数据之间的互操作性。
此外,快速、安全地访问数据和存储是支持预防性和检测性网络安全措施的基本要素。公开提供 cuFile 将有助于以 AI 驱动的防御所需的速度访问安全上下文、数据和存储。此类开放技术也为开放安全 AI 联盟等新倡议提供了支持。
此网站是开放 API 的新平台,由谷歌、英特尔、NVIDIA 和 Meta 创始并维护,并且可以针对各种软件和硬件平台进行优化,从而推动开发者和企业的创新并提高效率。
NVIDIA 和行业领导者共同推动 AI 存储发展的新前沿
此外,NVIDIA 和存储行业的领导者正在通过一项名为 Storage-Next 的计划来优化内存和存储解决方案。这一计划由 NVIDIA 主导,汇集了存储制造商、控制器供应商、散热设计、冷却和编排运营商以及标准机构,就 GPU 驱动的存储的行为方式达成共识,并将这些突破转化为可互操作的开放行业标准。
Storage-Next 涵盖 40 多家领先的存储和闪存供应商,包括 DDN、铠侠和美光,各方与 NVIDIA 一起为新一代 AI 存储技术做出贡献。
该计划以大型 AI 数据集的加速数据访问为基础。为此 NVIDIA 提供 SCADA,即“扩展、加速数据访问”。该框架支持大规模并行 GPU 仅将应用程序所需的数据直接从存储中拉取到自己的高速内存中。
例如,DDN 正在将 SCADA 与 Infinia 集成,Infinia 是其软件定义的 AI 原生数据智能平台,专为大规模消除存储瓶颈打造。
DDN 首席技术官 Sven Oehme 表示:“AI 的成功并不取决于组织拥有多少基础设施,而是取决于他们使用基础设施的效率。我们与 NVIDIA 的合作有助于在 GPU 和数据之间建立更直接、更高效的连接,从而保持高效的加速计算资源、加快获得见解的速度,并使客户能够从其 AI 投资中获得更高的业务和财务回报。”
Storage-Next 和 SCADA 延续了 NVIDIA 在 AI 存储基础架构方面的长期深耕,其中就包括 NVIDIA Vera BlueField-4 STX,由 NVIDIA Vera Rubin 平台、NVIDIA Vera BlueField-4 存储处理器和 NVIDIA Spectrum-X 以太网网络提供支持的模块化机架级基础架构。

在定义新型 AI 原生数据平台方面,NVIDIA STX 使用统一的 NVIDIA DOCA 安全堆栈,使企业能够在 AI 数据路径中实现持续的策略执行。
此外,NVIDIA CMX 上下文记忆存储提供基于 NVIDIA STX 构建的 AI 原生上下文层,用于长上下文、多回合、智能体 AI 推理。
SCADA 支持安全快速的 AI 存储
提升存储层速度并非没有代价。让应用程序直接与驱动器通信虽然速度快,但如果处理不当,可能会覆盖其他进程的内存,这会带来安全漏洞而非技术优势。
NVIDIA SCADA 采用了一种安全、可靠的方法,通过将工作分为两项来实现扩展的直接访问:
- 应用程序中需要原始速度的用户部分不在可信计算基础之上。
- 一个单独的特权组件在设置时配置用户应用程序与其获批存储之间的受保护访问,遵循标准 Linux 协议进行安全执行,同时高效保护数据。
快速、大规模并行、高效、安全的 AI 存储基础设施的进步,能够为应用程序和 AI 工厂提供更优质的数据,从而大规模生成更实用、更准确、更有据可查的智能。
参加 NVIDIA 在 FMS 大会上的专场会议,详细了解 NVIDIA AI 存储。FMS 于 8 月 4 日至 6 日在加利福尼亚州圣克拉拉举行。
请参阅软件产品信息。