洞悉 Omniverse：借助合成数据和微调提高视觉 AI 智能体准确性的三大工作流

编者注：本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 和 NVIDIA Omniverse 的最新进展深入改变他们的工作流。

视觉 AI 智能体正成为一种切实可行的方式，可将来自物理世界的视频数据自动转化为工厂、城市、仓库和交通系统中的运营智能。

随着越来越多的 AI 工作负载向数据生成的位置靠近，这种转变正在加速。Gartner 预测，到 2028 年，超过三分之二的企业管理数据将在数据中心或云端之外生成和处理；到 2029 年，全球超过三分之二的企业将部署边缘 AI，而这一比例在 2025 年仅为 10% (1)。

但边缘数据的增加并不会自动创建更多的智能。根据同一份 Gartner 报告，高达 90% 的现有边缘数据未经处理。

将这些数据转化为有用的行动需要视觉 AI 智能体，它们能够理解视频、适应现实世界条件，并将洞察与运营工作流相连接。这些智能体通常在摄像头、机器和传感器附近运行，在这些地方，模型必须满足延迟、功耗、成本和连接要求，同时适应特定现场的条件。

为了构建这些智能体，开发者需要可重复的方法来生成训练数据、微调模型，并在边缘和云环境中部署智能体视频应用。

NVIDIA Metropolis 智能体技能和蓝图为开发者提供可复用的工作流，以便在整个生命周期内构建、运行和优化视觉 AI 智能体。

在仿真模拟和合成数据方面，通用场景描述 (OpenUSD) 为描述、组合和复用 3D 世界提供了一个通用框架。基于 OpenUSD 构建的 NVIDIA Omniverse 库可帮助团队构建仿真模拟、合成数据生成和数字孪生工作流，这些工作流可对现实世界环境进行建模，并扩展场景覆盖范围，涵盖照明、天气、交通模式、摄像头角度、遮挡和罕见事件等条件。

视觉 AI 智能体项目可能会陷入的困境

组织转向自主视觉智能体时，通常会面临以下三个挑战：

• 数据缺失导致准确率遇到瓶颈：视觉 AI 智能体需要识别罕见缺陷、异常事件和不断变化的环境。例如，在制造业中，一个检测模型在检测常见划痕或凹痕时可能表现良好，但在检测训练数据中未出现过的新型细纹裂缝时，则可能表现不佳。
• 缺乏微调专业知识：一旦团队发现性能差距，改进模型往往不是一次简单的交接。微调需要标记数据集、训练配置、实验跟踪、评估以及针对目标用例决定是否进行改进。许多构建视觉 AI 智能体的组织没有大型的内部机器学习团队来快速管理这一过程，尤其是在涉及多个站点、产品或摄像头视图时。
• 复杂且耗时的智能体组装工作流：部署视觉 AI 智能体远不只是需要运行推理。开发者必须将视频管线、AI 模型、元数据、嵌入、索引、搜索、警报、报告和系统集成整合在一起。为特定环境定制该工作流非常耗时且需要专业知识。如果没有 OpenUSD 的共享场景描述层，每次条件或部署地点发生变化时，团队都要从头开始重建 3D 环境。

视觉 AI 智能体的全生命周期解决方案

NVIDIA 智能体技能和蓝图与基于 OpenUSD 的仿真和合成数据生成的 NVIDIA Omniverse、以及模型开发和视频 AI 部署的 NVIDIA Metropolis 结合使用，为开发者在这些工作流的关键部分提供可复用的起点：

• 缺陷图像生成技能有助于创建合成缺陷数据。
• 视频数据增强技能有助于扩展场景覆盖范围。
• NVIDIA TAO 技能支持模型微调。
• NVIDIA 视频搜索和总结 (VSS) 技能有助于将视频理解转化为可部署的工作流，用于警报、报告、流管理等。

开发者无需从头开始重建每个步骤，而是可以使用这些可复用的工作流来更快速地生成数据、改进模型并部署视觉 AI 智能体。

视觉检测：生成生产线上缺失的数据

在制造业中，一家工厂在预防缺陷方面越成功，就越难收集到足够的缺陷样本来训练下一个检测模型。

Roboflow 正将 NVIDIA 缺陷图像生成技能和 NVIDIA Cosmos 世界基础模型集成至其视觉 AI 平台，当真实训练数据稀缺时，为康宁等客户生成合成缺陷图像。这不仅实现了优秀的检测性能，还显著减少人工图像审查的需求。

在与康宁光纤制造工程团队进行的一项基准测试中，一个仅使用 8 张真实缺陷图像 (通过 NVIDIA 缺陷图像生成技能生成的合成数据进行增强) 训练的模型在具有挑战性的缺陷类别上达到了 95% 的平均精度和出色的召回率。这一性能超过了仅使用真实数据训练的基准模型，有效地将一个原本需要历时多个季度的检测项目压缩到了短短几天内。

观看视频，了解合成数据生成工作流如何帮助开发者创建训练和改进物理 AI 模型所需的数据：

智慧城市：从视频分析到自主运营

大规模城市运营展示了为什么视觉 AI 智能体需要的是相互连接的工作流，而不仅仅是推理。

Linker Vision 正在使用适用于 VSS 的 NVIDIA Metropolis Blueprint 构建智慧城市 AI 系统，加速在城市基础设施中部署视频推理智能体。在这一工作流中，VSS 技能可以将搜索、摘要、警报、报告和流管理等常见视频 AI 任务打包成可复用且可由智能体执行的工作流。

基于 OpenUSD 的 NVIDIA Omniverse 数字孪生帮助建模城市环境，并测试视觉 AI 系统如何应对不同的交通模式、天气条件、紧急事件和基础设施变化。Linker Vision 使用 NVIDIA Cosmos 进行视频数据增强，并使用 NVIDIA TAO 进行 Cosmos 模型微调。

在高雄，Linker Vision 使用 VSS 蓝图将开发工作量减少了 85%，并将事件响应时间缩短了高达 80%。其较新的 AI-GRID 扩展基于这种方法，结合用于安全智能体 AI 的 NVIDIA NemoClaw 蓝图，支持城市和交通环境中的自主视频推理。

工业运营：在工作中进行实时推理

在工业环境中，挑战不仅仅在于检测视频帧中出现的内容。团队需要智能体能够：

• 理解工作是否被正确执行。
• 对比执行与标准操作程序。
• 在缺陷转移到下游之前生成洞察。

在 Foxconn，DeepHow 的实时标准操作程序 (SOP) 验证智能体使用 NVIDIA Metropolis VSS 蓝图作为智能体视频工作流层，用于跨运营环境的搜索、摘要和分析。NVIDIA Cosmos 提供推理能力，帮助智能体在上下文中解释复杂的人类活动和工作序列，例如组装步骤是否按预期顺序正确执行。

该解决方案已在 NVIDIA Grace Blackwell Ultra 服务器生产线上使用，可将一次交验合格率提高 3%，在关键 SOP 步骤的微动作理解中实现 99% 的任务级准确率，并通过帮助团队尽早发现问题来减少冗余工作。

探索 NVIDIA 智能体技能和蓝图，构建、运行和优化视频分析 AI 智能体。

来源：Gartner，《预测 2026：物理 AI 将 I&O 推向边缘》，2026 年 3 月 3 日。Gartner 是 Gartner, Inc. 和/或其关联公司的商标。