力觉赋能、精密执行、具身智能基座大模型：NVIDIA 助力杭州柯林加速工业具身智能落地
在具身智能加速走向工业现场的进程中，机器人不仅要“看懂”指令，更要“摸得准、扛得住、记得住、学得快”。杭州柯林电气股份有限公司 (以下简称“杭州柯林”) 正与 NVIDIA 共同探索一条以力觉感知、高性能执行、世界模型与长程任务规划驱动的工业具身智能落地路径 —— 让机器人在精密装配、重载搬运、电力巡检等真实工业场景中，具备接触任务的精准操作能力、跨小时多步骤的长程任务执行能力，以及持续进化的学习能力。 业务挑战 采用的 NVIDIA 技术方案 杭州柯林基于 NVIDIA 物理 AI 全栈技术，
在具身智能加速走向工业现场的进程中，机器人不仅要“看懂”指令，更要“摸得准、扛得住、记得住、学得快”。杭州柯林电气股份有限公司 (以下简称“杭州柯林”) 正与 NVIDIA 共同探索一条以力觉感知、高性能执行、世界模型与长程任务规划驱动的工业具身智能落地路径 —— 让机器人在精密装配、重载搬运、电力巡检等真实工业场景中，具备接触任务的精准操作能力、跨小时多步骤的长程任务执行能力，以及持续进化的学习能力。
业务挑战
- 通用视觉 — 语言 — 动作 (VLA) 模型缺乏力觉理解，难以稳定完成插拔、压装、拧紧等高精度接触任务，容易出现过载、卡滞或装配失败。
- 行星滚柱丝杆等高性能执行部件的动力学、摩擦、回差、热特性难以在真实产线反复试验验证，仿真与真机之间存在明显的 “虚实鸿沟”。
- 变电站巡检、装配车间等工业场景数据采集成本高、部分工况存在安全风险，难以获得规模化、多样化的训练数据。
- 缺少覆盖真实光照、材质与几何细节的高保真数字孪生环境，制约了策略训练与安全测试的效率。
- 复杂工业任务缺乏可检索、可更新、可复盘的长期记忆能力，机器人难以稳定完成跨小时、多工位、多工具的长程任务，也难以在未见的技能组合下完成新任务，任务级泛化能力不足。
采用的 NVIDIA 技术方案
杭州柯林基于 NVIDIA 物理 AI 全栈技术，构建了覆盖仿真训练、模型学习、边缘部署与场景重建的完整技术链路：
NVIDIA 技术 / 平台 在项目中的应用 NVIDIA Isaac Lab 搭建接触任务与执行器动力学的高保真仿真与强化学习训练环境 NVIDIA Isaac GR00T 构建融合力觉的 Vision-Language-Force-Action 策略，提升接触类任务的理解与执行能力 NVIDIA Jetson Thor 作为工业机器人机载计算平台，实现边缘侧实时推理与力觉闭环控制 NVIDIA Cosmos + Omniverse 生成变电站、装配工位等工业数字孪生场景的合成数据，构建数据飞轮 NVIDIA NuRec 对工业现场进行高保真三维光场建模，加速真实场景转化为可交互数字孪生资产 NVIDIA Hopper 架构 GPU 服务器 作为本地训练算力集群，承载 GR00T 力觉策略微调、Cosmos 合成数据生成及长程任务规划基座大模型的训练负载
实施过程
一、六维力传感器与 GR00T 的力觉增强融合
- 接口与时间同步：建立六维力传感器与 NVIDIA 机器人软件栈的标准化接口，统一时间戳、坐标系、标定矩阵、滤波与漂移补偿。
- 仿真训练：在 NVIDIA Isaac Lab 中搭建插拔、压装、拧紧等接触任务的仿真训练环境，联合优化力觉条件策略、阻抗控制与柔顺控制。
- 力觉表征学习：探索将力觉数据编码为 GR00T 可学习的 Force Token/Force Embedding，提升模型对接触、滑移、卡滞与异常碰撞的理解。
- 数据集建设：构建覆盖不同工件、材料与接触刚度的工业力觉数据集，用于模型微调与持续评测。
- 训练算力：依托本地 NVIDIA Hopper 架构 GPU 服务器集群，完成 GR00T 力觉增强策略的规模化微调与迭代，缩短从数据到可用模型的训练周期。
二、行星滚柱丝杆与工业级高性能执行
- 依托工业机器人体系的行星滚柱丝杆及执行器能力，建立动力学、摩擦、回差、热特性与寿命模型，并在 Isaac Lab 中形成高保真数字模型。
- 围绕全身运动、双臂协同与重载搬运任务，联合优化 Motion Policy、Whole-body Control 与底层驱动控制。
- 在负载、速度、精度、能耗、温升等多目标指标下开展 Sim2Real 鲁棒性验证，并将训练完成的策略部署至 Jetson Thor，实现边缘侧毫秒级实时执行。
三、工业数字孪生、Cosmos 世界模型与数据飞轮
- 基于 NVIDIA Omniverse 搭建装配工位、变电站等典型场景的高保真数字孪生环境。
- 结合 NVIDIA NuRec，对工业现场进行三维高斯光场重建，将真实场景快速转化为可交互的数字孪生资产，显著缩短场景建模周期。
- 利用 NVIDIA Cosmos 世界模型生成视觉、动作、力觉及异常工况数据，开展域随机化与安全测试，提升复杂环境下的策略鲁棒性。
- 建立真机数据回流机制，形成“真实采集 — 合成扩增 — 模型优化 — 真机验证”的持续数据飞轮，飞轮中的模型训练与合成数据生成统一调度至本地 NVIDIA Hopper 架构 GPU 服务器集群。
四、面向长程任务规划的具身智能基座大模型
面向“动作原语已习得、但技能组合与任务情境未见过”的任务级泛化难题，柯林电气基于 NVIDIA Isaac GR00T 与 Cosmos 世界模型，自主构建了一套具备长程任务规划能力的具身智能基座大模型，让机器人具备“感知 — 记忆 — 推理 — 规划 — 执行 — 复盘”的完整能力闭环。
- 三层记忆架构：构建情景记忆、语义记忆与程序记忆体系，分别沉淀任务过程与异常事件、设备知识与工艺规程、可复用技能与动作参数，支持按任务、场景和时间检索、摘要与更新。
- 长程任务规划：支持跨小时、多工位、多工具的复杂任务分解、状态保持、中断续接与异常恢复，使机器人能够稳定完成长程电力巡检、多步骤装配等任务。
- 语义—技能显式绑定：在 GR00T 的视觉—语言—动作能力基础上，建立自然语言目标、场景语义到具体技能调用之间的显式绑定接口，支持技能组合与跨任务泛化，减少对新任务的重复演示与微调依赖。
- 世界模型推演校验：利用 NVIDIA Cosmos 对候选执行方案进行未来状态预测与执行前自校验，降低长程任务中的误操作与安全风险。
- 训练算力：长程任务规划与记忆模型的训练同样运行在本地 NVIDIA Hopper 架构 GPU 服务器集群上，与力觉策略、执行器策略共享统一的训练与评测基础设施。
阶段性成果
- 完成插装、压装等首批工业接触任务的仿真训练与真机验证，典型技能的任务成功率达到 80% 以上。
- 力觉增强策略上线后，机器人对接触、卡滞、过载等异常状态的识别与自动纠偏能力明显提升，装配类任务的误判率显著下降。
- 借助 NVIDIA NuRec，单场景数字孪生资产的建模周期较传统人工建模大幅缩短，为规模化场景复用打下基础。
- 依托 Isaac Lab 仿真训练与 Cosmos 合成数据，大幅降低了对高风险真实工况数据采集的依赖，训练数据获取成本明显下降。
- 基于 NVIDIA Jetson Thor 的边缘部署，实现了力觉闭环推理的毫秒级响应，支撑工业机器人在装配、巡检等场景的稳定实时执行。
- 长程任务规划基座大模型完成2项跨区域、多步骤电力巡检任务的公开演示，验证了任务中断续接与异常恢复能力，机器人可在长程任务中断后自动定位断点并继续执行。
客户引语
“通过与 NVIDIA 在 Isaac Lab、Isaac GR00T 和 Cosmos 世界模型上的联合创新，我们把杭州柯林在六维力觉、行星滚柱丝杆、具身智能基座大模型的产业积累，真正转化成了机器人在工业现场‘敢碰、能扛、记得住、会规划’的能力。这只是杭州柯林工业具身智能规模化落地的第一步。”
—— 聂明军，杭州柯林副总经理
关于杭州柯林电气
杭州柯林电气股份有限公司是一家上海科创板上市的国家级专精特新“小巨人”企业，专注于电气设备智能感知预警、机器人及核心部件、钙钛矿光伏及储能系统等领域。
公司建有省级重点企业研究院、柔性光伏关键技术联合实验室及院士工作站，先后承担国家火炬计划、国家重点新产品计划等重大项目，累计获得省部级科技奖项 30 余项。
凭借在六维力传感器、行星滚柱丝杆等核心部件领域的深厚积累，柯林电气正加速布局工业具身智能机器人赛道，推出工业机器人整机产品，聚焦精密装配、重载搬运、电力智能巡检等工业场景的规模化落地。©
