AI 赋能私有化大模型，HTZL.AI 实现 NVIDIA DGX Spark 全栈标准化落地
四川慧途智联科技有限公司 (品牌 HTZL.AI) 成立于人工智能基础设施浪潮兴起之际，是国内领先的企业级私有 AI 基础设施提供商及行业赋能者。HTZL.AI 是一家 AINative 的科技公司 —— 从模型部署、RAG 知识引擎、多工具 Agent 编排、API 网关到企业级管理控制台与授权许可系统，全栈软件均为自主研发；其研发流程本身也由 AI 驱动，搭建于 NVIDIA DGX Spark 自托管 CI/CD 流水线之上，后端已沉淀 2,300+ 自动化测试，形成“用 AI 造 AI”
四川慧途智联科技有限公司 (品牌 HTZL.AI) 成立于人工智能基础设施浪潮兴起之际，是国内领先的企业级私有 AI 基础设施提供商及行业赋能者。HTZL.AI 是一家 AINative 的科技公司 —— 从模型部署、RAG 知识引擎、多工具 Agent 编排、API 网关到企业级管理控制台与授权许可系统，全栈软件均为自主研发；其研发流程本身也由 AI 驱动，搭建于 NVIDIA DGX Spark 自托管 CI/CD 流水线之上，后端已沉淀 2,300+ 自动化测试，形成“用 AI 造 AI”的工程闭环。HTZL.AI 主打“数据不出企业、模型不进云端”的私有化 AI 路径，已在环保咨询机构、出海企业等数据敏感行业落地。
垂直企业级私有 AI 技术，攻破“120B 大模型必须上云”的核心问题
HTZL.AI 自成立之初就将研发重心放在“让企业级大模型真正进入企业内部”这一核心命题上。区别于调用公有云 API 的轻量套壳方案，HTZL.AI 自研了完整的私有化技术栈：开放内核 (open-core) 架构、混合检索 RAG 引擎、基于 LangGraph 的 Agent 编排、sk-htzl-* 计费网关、多租户管理控制台。
这套系统全部搭载于 NVIDIA DGX Spark (GraceBlackwell 架构、128 GB 统一内存) 单机之上，实现了在客户自有办公室/机房内对大模型推理、向量检索、业务数据与 Agent 编排的全方位自主掌控 —— 数据全程不出企业、推理结果带原文引用、每一次调用可计量可审计。
HTZL.AI 智能问答控制台 —— 多租户私有知识库
HTZL.AI 的企业控制台支持单台 NVIDIA DGX Spark 同时承载多个相互隔离的租户 (site_key 隔离)，每租户拥有独立的向量库 collection ({site_key}_context)、独立配额、独立审计日志，并在 PostgreSQL 层以行级安全 (RLS)，相当于把“一朵小型企业 AI 私有云”装进了客户自家的办公室。
数据 AI 引擎 —— 每一次请求都是飞轮的燃料
HTZL.AI 已构建企业级 AI 数据引擎：每一次交互 (对话、token 用量、模型时延、错误率、用户反馈、知识盲点) 都被完整持久化进 PostgreSQL，形成数据全流程高效闭环。在 NVIDIA DGX Spark 高容量统一内存与 NVIDIA CUDA 计算栈的加持下，海量交互数据被自动化处理 —— 这些数据今天驱动企业运营看板，明天即可驱动模型微调与检索策略迭代，让私有 AI 的智能化与自主化能力持续演进。
怀揣“数据不出企业”的愿景，研发企业级私有 AI 三大产品线
HTZL.AI 自成立以来，始终坚持“让 AI 真正属于企业自己 —— 可信、可控、可审计”的愿景，致力于企业级私有 AI 基础设施的研发，形成三大产品线：“物理可控的 GPU 工作站算力底座、精细可审计的 AI 基础设施中枢、以及数据绝对可信的行业 SaaS 业务平台”三大产品线，为企业交付端到端的全栈私有化 AI 闭环解决方案。
企业级私有 AI 的全新挑战
随着大模型在企业场景快速渗透，落地场景正由“公有云 SaaS”扩展至“客户办公室/机房内的私有化部署”。不同于公有云场景，私有化部署对系统提出了全新挑战：业务要拥抱 120B 级大模型，但律师手中的合同与诉讼材料、生物公司的专利与配方、出海企业的客户名单与跨境股权结构，任何一份外泄都意味着商业泄密甚至法律责任，绝不能在公有云大模型中被分析、缓存乃至训练。过去要在企业内部部署一个 Qwen3.6 同等水准的大模型，往往意味着购置数十张高端 GPU、搭建液冷机房、组建 MLOps 团队，初期投入数百万人民币 —— 这对绝大多数中小企业是无法承受之重。
为实现安全可靠的私有化推理，HTZL.AI 需要一种单机即可承载完整 AI 栈的计算平台，用于多模型共存、向量检索与 Agent 编排的本地部署。最终团队在对比多卡工作站方案后，选择 NVIDIA DGX Spark 作为单机部署底座，提供媲美高端算力中心的高性价比方案。NVIDIA Grace Blackwell 架构提供 128 GB CPU/GPU 统一内存，提供了更大容量的模型加载能力；’丰富的 NVIDIA 软件生态 (CUDA、TensorRT-LLM) 则为多模型推理与向量并行计算提供了高质量算力支持。
HTZL.AI 采用的 NVIDIA 产品
在选择 NVIDIA 产品生态作为底座后，HTZL.AI 充分利用了 NVIDIA 硬件与软件解决方案的多样性与强大性能，具体采用了以下 NVIDIA 产品：
- NVIDIA DGX Spark/Grace Blackwell 平台：128 GB 统一内存让三个模型在一台设备上稳定共存 —— Qwen3.5-122 B 主推理模型 (FP4 量化、约 65 GB，默认常驻)、Qwen3-Embedding-4 B 中英混合嵌入模型 (Q8 量化、约 5.4 GB、2560 维向量，默认常驻)、Qwen-VL-视觉理解模型 (约 14 GB，按需启用)。三模型满载约 82.9 GB，仍为系统与批处理缓存预留约 45 GB 余量。CPU 与 GPU 共享内存让单机即可完成“召回→融合→重排→生成”的全链路 RAG 推理，从架构上彻底消除了多机调度开销。
- NVIDIA CUDA:Milvus 向量检索、BM25 稀疏召回与嵌入模型推理全部跑在 CUDA 加速通路上。HTZL.AI 的混合检索引擎以稠密向量召回 +BM25 稀疏召回并行执行，经 RRF 倒数排名融合 (k=60) 合并，再由 Cross-encoder 重排模型 (BAAI/bge-reranker-v2-m3) 精排，输出带“源文件 + 页码 + 段落”三级引用的检索结果；单租户查询端到端 P95 控制在数百毫秒级。
- llama.cpp on NVIDIA CUDA 推理后端：Qwen3.5-122 B 与 Qwen3-Embedding-4 B 经 llama.cpp 的 CUDA 后端 (FlashAttention、prompt 缓存、连续批处理) 对外稳定提供 SSE 流式输出，首 token 通常在 1 秒内返回，支持企业内部数十名活跃用户同时对话与文档问答。SSE 事件流实时下发 token、工具调用状态与引用列表，让客户在浏览器上“边读边等”。
- NVIDIA TensorRT-LLM：视觉理解模型 Qwen-VL- 已基于 TensorRT-LLM (PyTorch 后端) 在 NVIDIA DGX Spark 上部署，作为 Agent 的 explain_image 工具，让系统能够直接读懂扫描合同、判例图表、证照影像等非结构化图像内容。后续将进一步把主模型 token 流迁移至 TensorRT-LLM 以压低首 token 延迟。
标杆落地：HTZL.AI 租户 Molycure，让中国企业出海拥有“24 小时在线的合规专家”
Molycure 是运行在 HTZL.AI 平台之上的旗舰垂直租户 —— 国内首批面向“中国企业出海”场景的垂直行业 AI Agent。借助 HTZL.AI 的多租户私有架构，Molycure 在一套 NVIDIA DGX Spark 上整合了东南亚、欧盟、北美、中东等高频出海目的地的法规、税务、签证、知识产权与数据合规专业文档，覆盖 18 个出海垂直领域、194+ 权威数据源、数十万向量片段，整体源召回率达到 100%。
在具体业务环节中，NVIDIA 计算平台发挥了重要作用：通过 NVIDIA DGX Spark 128 GB 统一内存，Molycure 的“召回→融合→重排→中文回答”全链路在单机完成，单次跨境合规咨询从传统“对每个国家聘请一家律所、平均 3 天等回邮件”缩短至分钟级；通过 NVIDIA CUDA 加速的批量文档摄入流水线，单次客户专属知识库 (私密会议文档、合同库、董事会决议、海外注册材料) 的全量灌库时间从多机方案的数小时缩短至单机十几分钟。架构层面，molycure 前端部署在 Vercel 全球边缘，经 Cloudflare Tunnel 安全反向接入本地 NVIDIA DGX Spark，对外只暴露 HTTPS，无任何公网 IP 与入站端口 —— 这对存放着客户跨境资产与股权信息的“出海大脑”而言，是企业级数据安全的最低门槛。
业务价值：把“上云才能用 AI”的旧逻辑彻底翻转
依托 NVIDIA DGX Spark,HTZL.AI 为出海企业、律所、生物科技等数据敏感客户带来了显著优势。在成本与能耗方面，客户硬件投入相比多卡 GPU 工作站降低约 50 %、能耗降低 90% 以上；在合规属性方面，客户首次获得“数据不出企业、推理结果带引用、所有调用可审计”的强合规能力；在交付形态方面，整机功耗与一台高端笔记本相当，可直接摆进客户办公室。以旗舰租户 Molycure 为例，出海企业的年度海外顾问费从数十万元降至单台设备的硬件摊销 + 订阅费用，实现了一个数量级的成本压缩。
使用的 NVIDIA 技术包括：
NVIDIA DGX Spark(Grace Blackwell)、NVIDIA CUDA、llama.cpp on CUDA (主模型/嵌入模型推理)、NVIDIA TensorRT-LLM (Qwen-VL 视觉模型，已落地)、NVIDIA CUDA 加速向量检索 (Milvus)、NVIDIA NIM (规划中)
架构示意图
NVIDIA 初创加速计划
四川慧途智联科技有限公司是 NVIDIA 初创加速计划会员企业。
NVIDIA 初创加速计划 (NVIDIA Inception) 为免费会员制，旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构、创业孵化器、创业加速器、行业合作伙伴以及科技创业媒体等，打造创业加速生态系统。能够提供产品折扣、技术支持、市场宣传、融资对接、业务推荐等一系列服务，加速创业公司的发展。
