Lambda 采用 NVIDIA 硅光技术提升 AI 工厂的可靠性和效率
要训练一个 AI 模型,需要成千上万块 GPU 协同工作,这就需要一个快速、高效且可靠的网络。 Lambda 正在使用 NVIDIA 光电一体封装 (CPO) 交换机来解决该网络难题。这家云服务提供商借助交换机将由超过一万块 GPU 组成的机架连接起来,为大规模 AI 工厂提供更低的功耗、更高的可靠性和更长的平均中断间隔时间 (MTBI)。 Lambda 云服务总裁 Dave Ward 表示:“网络必须跟上日趋庞大的 AI 集群所带来的增长需求。将光电一体封装技术应用到如此规模的部署中,是构建支
要训练一个 AI 模型,需要成千上万块 GPU 协同工作,这就需要一个快速、高效且可靠的网络。
Lambda 正在使用 NVIDIA 光电一体封装 (CPO) 交换机来解决该网络难题。这家云服务提供商借助交换机将由超过一万块 GPU 组成的机架连接起来,为大规模 AI 工厂提供更低的功耗、更高的可靠性和更长的平均中断间隔时间 (MTBI)。
Lambda 云服务总裁 Dave Ward 表示:“网络必须跟上日趋庞大的 AI 集群所带来的增长需求。将光电一体封装技术应用到如此规模的部署中,是构建支持新一代 AI 基础设施的重要一步。”
在该公司使用这些交换机开展的测试中,网络延迟 (传输数据所需的时间) 在机架规模上降低了约 二十五分之一,在 Pod 规模上最高降低约十分之一。在机架级、扩展单元级和 Pod 级配置中,网络带宽性能均保持与传统可插拔光模块相同。
实现规模化系统的高能效和可靠性
提高能效和可靠性之所以至关重要,是因为网络正处于 AI 工厂生产力的核心位置。
在大型训练任务中,一个链路中断可能会导致数千块 GPU 陷入停滞。在智能体推理场景,一次网络中断可能会对许多智能体产生连锁延迟效应。每一次中断都会额外消耗时间,而网络消耗的每一瓦电力都意味着无法再用于计算。
NVIDIA 硅光技术同时提升了能效和可靠性。它通过将光引擎与交换机一体封装,取代可插拔光模块,与传统可插拔光模块相比,其能效最高可提升 5 倍,可靠性最高可提升 15 倍。同时,它使用的激光器数量减少至四分之一,这意味着潜在出现故障的组件更少了。
更低温的光引擎与可更换的光源,进一步提高可靠性
Lambda 的部署使用了 NVIDIA 硅光交换机,每台交换机有 144 个端口,每端口运行速度为 800Gb/s。液冷技术用于交换机芯片和光引擎散热。
该公司报告称,其光引擎的温度中值为 36°C,而传统可插拔光模块的温度中值为 51°C,而且其测试显示信号完整性更为稳定。
NVIDIA 硅光技术使电光转换引擎更靠近交换机芯片。每台交换机有 18 个可插拔的外部光源,为光引擎提供光源。光引擎与交换芯片位于同一封装上,负责将电信号转换成光信号,再通过光纤在集群各部分之间传输数据。
与传统可插拔光模块不同,技术人员可以在现场更换光源模块,而传统光模块在激光器出现故障时则需要更换整个模块。
光电一体封装将电气路径长度从数英寸缩短到数毫米,大幅减少信号损耗。它还省去了对 retimer 芯片的需求,从而降低了功耗并减少了信号路径中的器件数量。
欢迎进一步了解 NVIDIA 硅光技术,并阅读 Lambda 的部署公告。