两类核心AI应用
Agent 实例与推理实例协同构成完整 AI 应用技术栈
Agent 实例

容器化:基于 Ubuntu 桌面的 Linux 容器,一个容器一个 Agent 实例。

开箱即用:完整 Ubuntu 桌面与独立 workspace,预置浏览器和常见工具。

安全隔离:独立存储与网络空间,支持 CPU / 内存配额。

自助管理:浏览器访问桌面 GUI,自主配置 Agent、大模型和 IM 通道。

推理实例

容器化:Ollama / vLLM 等 LLM 框架以容器实例方式运行。

GPU/NPU 支持:单卡、多卡、共享卡,MPS/HAMi 切分,兼容 NVIDIA/AMD/昇腾。

模型秒发:模型数据预分发到宿主机,秒级挂载,内置开源大模型数据。

支持框架:vLLM · Ollama · ComfyUI,覆盖推理、部署与图像生成。

Agent 与 LLM 搭配方案
按成本、数据安全与模型能力要求灵活选择
零 GPU 方案
普通服务器批量部署 Agent,模型全部使用在线大模型 token 服务。

优点:无需 GPU 投入,按 Token 调用量付费。

私有化方案
普通服务器运行 Agent,GPU 服务器部署本地 Ollama / vLLM 运行开源大模型,Agent 内网使用本地推理服务token。

优点:数据不出内网,无额外 Token 费用。

混合方案
同时接入本地推理与在线大模型 token 服务,智能路由将简单请求分配给本地模型,复杂请求转发到在线模型。

优点:在成本与模型能力体验之间取得平衡。

平台优势

秒级分发

模型预分发 + 容器化

实例启动秒级就绪

安全可控

网络隔离、存储隔离

资源配额多层保障

成本优化

GPU 共享切分

最大化算力利用率

开放兼容

支持主流 LLM 框架

API 全面开放

技术支持

技术支持

扫码加入技术支持微信群

扫码加入技术支持微信群


公众号

官方公众号

扫码关注获取最新动态