两台桌面设备，承载一个科室的“数字员工编制” 

案例简介 

• 听微 (上海) 科技有限公司研发的 createrole 是一个可成长的多数字人 AI 产品：数字员工能多轮对话、在专属沙盒里执行真实任务、把经历沉淀为长期记忆，全栈四个服务支持一键私有化部署与断网交付。
• 本案例中，createrole 在两台 NVIDIA DGX Spark 组成的桌面集群上，参考社区双机部署方案，按客户需求本地部署 Qwen3.8-Flash-Next、GLM-5.3-Flash 或 DeepSeek-V4-Flash-Vision-Exp 开源权重模型，并承载应用全栈。推理侧按模型采用适配的低精度权重、KV cache 与投机解码方案，为不能上云的政企客户实现“当天开箱、拔线可用”的私有化交付。
• 案例主要应用 NVIDIA DGX Spark (NVIDIA GB10 Grace Blackwell 超级芯片)、NVIDIA ConnectX-7 网络与 NCCL 通信库，以及适配 GB10 的 vLLM 推理运行时。模型加速分别采用 Qwen 的 NVFP4 专家权重与 MTP、GLM 的 EXL3/TR3 专家权重与 DFlash2、DeepSeek 的官方 FP4/FP8 混合精度权重与 DSpark，并匹配各自的 KV cache 格式。

客户简介及应用背景 

听微 (上海) 科技有限公司是一家专注“数字员工”方向的 AI 产品公司，旗下产品 createrole 只做一件事：让一家企业、一个部门拥有一支真正可用的数字员工队伍。这里的”数字员工”不是聊天机器人：每个数字人有独立身份和长期记忆，有一台自己的沙盒电脑，能跑命令、写文件、交付产物；待办到点会自动醒来干活，秘书角色可以统一为团队分派任务。经历会在夜间“做梦”时固化成六种类型的长期记忆页面，人格演化带字段级版本历史，可查看、可回滚、可审计。 

产品由后端 (FastAPI)、前端 (Next.js)、沙盒服务、记忆服务四个部分组成，一套脚本整栈私有化部署。目前已在上海落地，服务多家政企客户。这些客户的共同点很清楚：业务里有大量文字材料、数据整理和流程性工作，确实需要 AI 帮忙；但数据敏感，不能出内网，公有云方案从一开始就被排除。 

客户挑战 

政企客户的需求与约束天然存在张力。一边是最新的大模型能力，一边是“数据不出科室”的硬要求：不能调云端 API，不能把材料传到任何外部服务，部分场景在验收后还要求物理断网。传统私有化交付撑不起这个场景 —— 客户机房排期、上架服务器、拉专线，周期按月算；不少核心科室根本没有机房使用权限，AI 项目往往卡在基础设施这一环。 

对产品本身，挑战要更具体。其一，数字员工的干活质量取决于模型：本地要装下参数量够大、上下文够长的模型 —— 政务材料动辄数十万 token，还包含图表与扫描件；这对端侧设备的内存、算力和多模态能力都是硬门槛。其二，负载不只是推理：沙盒里的任务执行、每天夜间的记忆固化与人格演化批处理、技能考试与补习，全部要在本地闭环。其三，agent 场景对推理服务的要求比聊天苛刻得多：一个回合内模型要被采样十几轮、每轮携带全部历史，KV cache 命中率和解码速度直接决定任务耗时；开源模型工具调用的可靠性也参差不齐，必须由工程层兜住。 

应用方案 

让大模型与完整应用一起落到桌面

createrole 采用两台 NVIDIA DGX Spark，通过 NVIDIA ConnectX-7 200GbE 直连和 NCCL 通信协同运行。每台设备配备 128GB 统一内存，GB10 Grace Blackwell 超级芯片为本地模型推理提供计算基础。团队在这一桌面集群上整合模型服务与应用全栈，将部署、运行和维护集中在客户可直接掌控的环境中。 

以 DeepSeek-V4-Flash-Vision-Exp 为例，团队参考 MiaAI-Lab 的双机部署方案，采用适配 GB10 的 vLLM 运行时，结合官方 FP4/FP8 混合精度权重与 DSpark 投机解码，在本地提供文本与图像理解能力。对应方案使用 NVFP4 MLA 缓存 (nvfp4_ds_mla)，将单请求上下文上限配置为约 100 万 token，为长材料处理提供空间；实际交付窗口与并发量按应用占用和业务负载配置。 

从读懂材料，到把任务做完 

模型能力通过 createrole 转化为具体工作。以材料整理为例，数字员工可根据用户要求阅读文档和图表，在专属沙盒中调用工具、整理内容并生成交付文件。面对需要反复查阅材料的长任务，系统复用稳定的上下文前缀，并结合历史摘要与工具输出控制，减少重复计算，让有限的本地资源更多用于推进任务。 

任务执行过程可记录、可中断、可恢复，工具操作留有审计记录，用户能够查看进度和结果。浏览器断线或页面关闭后，已启动的任务仍可在后台继续执行，用户重新连接即可查看过程。这样的执行与管理能力，让数字员工能够融入日常办公流程。 

把日常经验沉淀为持续成长的能力 

私有化交付也保留了数字员工的成长机制。白天，数字员工参与对话和任务；夜间，系统整理当天经历，将工作偏好与经验沉淀为长期记忆，并通过岗位练习与反馈持续改进。数据、执行过程和记忆留在客户环境中，形成可持续积累的本地工作资产。 

业务技能以文件形式管理，数字员工可按任务需要加载和更新，让已有做法在后续工作中复用。团队同时在 NVIDIA GPU 上开展 LoRA 微调与偏好优化，持续改善模型在数字员工场景中的工具使用表现，为产品后续迭代提供支撑。 

使用效果及影响

对客户，改变是交付形态级的：过去“上 AI 项目”意味着立项、机房、专线和数月排期，现在一个科室的数字员工编制就是桌上叠放的两台设备，当天部署、验收断网。“数据不出门”这条底线，第一次和“用上最新 AI”不再冲突。 

对产品，NVIDIA DGX Spark 把 createrole 原有的私有化交付场景压缩到了极致，也验证了全栈适配层架构的价值：换模型、换推理框架、换算力平台零业务改动，NVIDIA 软硬件栈的每一次升级 —— 从 NVFP4 到新一代投机解码 —— 都能第一时间用上。 

在 NVIDIA 初创加速计划 (NVIDIA Inception) 的支持下，团队与 NVIDIA 技术团队对接了 GB10 平台上的推理部署实践，并计划把“双机 NVIDIA DGX Spark+ 按模型适配的低精度推理与投机解码 + 全栈应用”打磨成“私有化数字员工”场景的可复用参考架构，配合 NVIDIA 面向政企客户的端侧 AI 推广。 

“不能上云的组织不是 AI 的边缘客户，反而是需求最实的那批人。NVIDIA DGX Spark 把数据中心级算力放到了桌面，我们把完整的数字员工体系装了进去 —— 两台设备就是一个科室的 AI 编制。这件事以前做不到，现在是我们的标准交付。”听微 (上海) 科技有限公司创始人兼 CEO 朱朝华表示。 

NVIDIA 初创加速计划

听微 (上海) 科技有限公司是 NVIDIA 初创加速计划会员企业。

NVIDIA 初创加速计划 (NVIDIA Inception) 为免费会员制，旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构、创业孵化器、创业加速器、行业合作伙伴以及科技创业媒体等，打造创业加速生态系统。能够提供产品折扣、技术支持、市场宣传、融资对接、业务推荐等一系列服务，加速创业公司的发展。