NVIDIA Isaac ROS 5.0 推动智能体与开源机器人开发
要构建并部署那些能够在动态环境中完成感知、推理与行动的复杂机器人应用,开发者需要全新的物理 AI 模型和工具。 ROS 开放框架是 Open Robotics 旗下的一个项目,旨在帮助人类构建机器人。近日于加拿大多伦多举行的 ROSCon 大会上发布的 NVIDIA Isaac ROS 5.0,是一套基于 ROS 打造的 GPU 加速软件包合集,它将助力人类与 AI 智能体一同构建机器人。 该版本引入了全新的智能体工作流以及平台支持,帮助开发者更快速地完成机器人应用的构建、定制与部署。 ROS
要构建并部署那些能够在动态环境中完成感知、推理与行动的复杂机器人应用,开发者需要全新的物理 AI 模型和工具。
ROS 开放框架是 Open Robotics 旗下的一个项目,旨在帮助人类构建机器人。近日于加拿大多伦多举行的 ROSCon 大会上发布的 NVIDIA Isaac ROS 5.0,是一套基于 ROS 打造的 GPU 加速软件包合集,它将助力人类与 AI 智能体一同构建机器人。
该版本引入了全新的智能体工作流以及平台支持,帮助开发者更快速地完成机器人应用的构建、定制与部署。
ROS 为现代机器人开发的大部分领域提供了开源基础,为开发者带来了构建和连接机器人应用所需的通用工具、库和标准。
NVIDIA Isaac ROS 则将 NVIDIA 的加速计算、物理 AI 模型以及生产就绪的库,带给近 130 万名 ROS 用户,帮助开发者依托免费、熟悉且开源的工具,构建高性能的机器人应用。
把 AI 智能体引入机器人开发
AI 智能体正在改变软件的构建方式,帮助开发者自动处理重复性任务、驾驭复杂的代码库,并加速创意向可运行的应用的转化。Isaac ROS 5.0 将这些能力带到了机器人开发领域。
Isaac ROS 5.0 新增了对 ROS Lyrical 和 Ubuntu 24.04 的支持,为开发者提供了一条采用最新 ROS 平台的路径,同时继续借助 NVIDIA 加速计算来加速高负载的机器人工作负载。NVIDIA 与开源机器人联盟合作,为 ROS Lyrical 提供了一套标准化的数据处理接口,帮助机器人软件在包括 GPU 在内的不同的计算硬件上高效运行。
该接口面向整个 ROS 社区开放,为开发者加速高负载机器人应用提供了一种一致的方法,并以 CUDA 为例展示了 GPU 加速的实际落地方法。
新增的 NVIDIA Isaac 设置与操作技能,为开发者和智能体提供了可复用的工作流,以完成各类机器人开发任务。同时,智能体就绪的文档也让 AI 智能体更容易理解 Isaac ROS 的工具和工作流,从而更快地将开发者的意图转化为可运行的应用。
部分技能的作用已不止于辅助单一编码任务。全新的 FoundationStereo 微调技能,可以使 AI 智能体能够帮助开发者将立体感知模型适配到自己的相机、环境和机器人应用中,让开发者能够在既定传感器配置下轻松实现更精准的感知效果。
FoundationPose 是一款用于物体姿态估计与追踪的基础模型,现在提供了一个面向智能体就绪的推理库,让机器人感知和追踪物体位置与朝向的速度最高提升 5.5 倍。
此外,抓取与放置——这一连接检测、深度预估和姿态输出的常见工作流,现已作为一个独立的、智能体就绪的技能推出,为机器人开发者提供超越 Isaac ROS 的更多灵活性。
加速开源机器人生态系统发展
机器人生态系统已将这种智能体驱动的开发方法扩展到工作流中。
由 3D 感知技术公司 RealSense 赞助的开源项目 AgenticROS,将 Isaac ROS 与 NVIDIA Nemotron 开放模型以及 NVIDIA NemoClaw 蓝图相连接,使 AI 智能体能够与基于 ROS 的机器人进行交互。RealSense 还在优化其最新的 AI 原生 3D 立体深度相机(包括 RealSense D585 Pro),以及面向 Isaac ROS 和 NVIDIA Jetson Thor 边缘 AI 平台的开源软件开发套件,助力开发者构建感知、导航和操作应用。
Intrinsic 的开放式机床上下料解决方案是一款面向数控机床上下料的参考应用,也是新发布的 Intrinsic Core 的一部分——Intrinsic Core 是一套开源的预配置运行时服务与能力套件,旨在加速工业机器人应用。该方案内置了对 NVIDIA FoundationPose 的兼容性支持,可实现开箱即用的物体注册、追踪和姿态估计。借助 FoundationPose 的感知管线,该方案使机器人能够动态检测并处理工件,同时减少对刚性、高成本的物理夹具及专用系统集成方案的依赖。

矽递科技正在将 NVIDIA Isaac ROS 应用于 reBot Arm 机械臂上,在 NVIDIA Jetson Thor 平台上实现了加速感知、空间理解与运动规划的深度融合。这一集成为开发者提供了一个构建高适应性物理 AI 应用的实用平台,应用场景涵盖了从物体定位到具备避障能力的灵巧操作,再到自主抓取与放置。
Magna 正将 NVIDIA Isaac ROS 作为模块化、GPU 加速的基础平台,用于机器人感知、同步数据采集以及 NVIDIA Isaac GR00T 模型的部署,同时,Magna 还将其与 Isaac Sim 硬件在环测试相结合,旨在以更低的风险和更快的速度,推动智能自动化从实验室研究走向现实世界的制造与移动出行领域。

Prefix.dev 的 Pixi 包管理工具简化了可复现的机器人开发环境的构建。它将 ROS 与 NVIDIA CUDA 平台整合在一起,帮助开发者更便捷地设置并共享加速后的机器人工作流。
作为 Isaac ROS 合作伙伴,Foxglove 通过其网页端和桌面端工具,帮助开发者对实时的 ROS 应用进行可视化和调试;这些工具已全面集成到 Isaac ROS 的教程中,并支持 3D 主题、nvblox mesh 和 rosbags 等数据类型。
Flexiv 正在将 Isaac ROS 与其 Rizon 4 自适应机器人进行集成,为开发者提供 NVIDIA 加速的机器人能力,并打通了一条从在 NVIDIA Isaac Sim 中测试应用到部署至实体机器人的简化路径。

Ekumen(Grid Dynamics 旗下公司)正在现有的 ROS 和 Nav2 技术栈中使用 GPU 加速的 Isaac ROS 软件包,以提升精准对接、3D 障碍物检测、视觉定位和实时运动规划的能力,并在 Isaac Sim 中对每个应用进行验证。
Ouster 将其 Stereolabs ZED 相机与 NVIDIA Isaac ROS 集成,为机器人应用提供 GPU 加速的感知能力。这一集成简化了实时物体检测、建图和导航功能的开发工作,同时保持与更广泛 ROS 生态系统的互操作性。
将完整的物理 AI 技术栈带到机器人上
开发者和智能体构建出的应用,最终都需要在机器人本体上运行。
NVIDIA Jetson 是一个可扩展的计算平台,能够在边缘端以实时性能运行物理 AI 技术栈,将 ROS、加速感知与导航、AI 模型以及应用逻辑全部整合到机器人上。
Isaac ROS 5.0 支持从入门级的 NVIDIA Jetson Orin Nano 到高性能的 Jetson Thor 设备的可扩展算力,为开发者提供了一条从开发到部署的清晰路径,以应对日益复杂的机器人工作负载。
机器人公司已经在利用这一组合,将更多的 AI 处理直接放到自己的机器上。
Mentee Robotics 将 NVIDIA Isaac ROS 作为其 MenteeBot 人形机器人的感知与 AI 骨干,使机器人能够实时解读视觉信息并执行已习得的行为。而基于 NVIDIA Jetson Orin 和 Jetson Thor 平台的统一软件基础设施,帮助 Mentee 将其创新成果从现有机器人扩展到新一代系统。

Universal Robots 已将 NVIDIA Isaac ROS 集成至其 AI Accelerator 软件开发套件中,帮助系统集成商无需从零开始开发复杂的机器人软件,即可更快地部署先进的感知与运动控制能力。该方案由边缘端的 NVIDIA Jetson 驱动,使机器人能够适应位置不够精确的工件,减少对高成本夹具的依赖,让制造单元更加灵活。
打造了广受欢迎的 ROS 开源平台 TurtleBot3 的 ROBOTIS,目前正将 Isaac ROS 集成到其 AI Worker 机器人中,利用 GPU 加速的物体感知能力,实现包括抓取、放置和对齐在内的视觉引导操作任务。
FieldAI 的机器人基础模型可完全在机器人本体上运行,无需依赖云端连接。目前这些模型正将 Isaac ROS 集成到 Jetson 设备中,以充分利用 GPU 加速,并提升机器人端 AI 技术栈的运行效率。
Noble Machines 正在 Jetson 平台上使用 NVIDIA Isaac ROS,加速面向工业应用的通用机器人开发——通过直接应用现成的 AI 和感知能力,避免了从零开始打造。
通过将开放机器人生态系统、加速计算以及全新的智能体开发工作流相结合,Isaac ROS 5.0 帮助开发者应对物理 AI 挑战的两个方面:构建能力日益强大的机器人应用,并让它们在物理世界中高效运行。
Isaac ROS 5.0 现已正式上线,免费且开源。开发者可在 GitHub 上了解更多信息并开始使用 NVIDIA Isaac ROS。