玄武 CLI翻译站点

工具名称

玄武 CLI（xw-cli）

项目地址

• GitHub 仓库：https://github.com/TsingmaoAI/xw-cli

工具类型

开源命令行部署与推理框架，用于国产大模型本地运行与管理

发布组织

清昴智能（TsingmaoAI）

首次发布时间

2026 年 2 月初正式开源发布

许可协议

开源许可（以 GitHub 仓库中 LICENSE 为准）

结构化属性表

核心能力与平台架构

国产算力原生支持

玄武 CLI 智能检测本地国产 AI 芯片（如华为昇腾、沐曦 MetaX 等），并自动为其选择和调度最优推理引擎，无需手动配置底层算子或环境差异。

快速服务启动

提供极简体验：通过一行命令可完成服务部署与快速启动，实现大模型服务在数分钟内可用。

OpenAI API 兼容

兼容 OpenAI API 端点规范，使现有应用生态（如 LangChain、LlamaIndex 等）可无改动或仅需调整 URL 即可接入。

多引擎自动选择

集成多种推理引擎（如官方引擎、vLLM、清昴自研 MLGuider 等），根据硬件、模型与场景智能调度，提升兼容性与性能。

本地模型管理

支持模型拉取、列表查看、运行与状态查询，让模型生命周期管理更加便捷。

离线运行能力

无需依赖云端服务，在本地环境中可完成模型管理、推理与 API 调用请求，适合对数据安全有严格要求的场景。

输入与输出规范

支持输入类型

CLI 命令输入

• 指令示例：

  • xw serve：启动本地服务

  • xw pull 模型名：下载模型

  • xw run 模型名：运行模型交互式会话

  • xw ls / xw ps：查看模型列表与运行状态
    用于管理大模型服务状态与任务执行。

HTTP API 请求

运行服务后，可通过 OpenAI API 兼容的 HTTP 端点（默认 http://localhost:11581/v1/...）发送请求完成推理任务。

输出内容类型

模型推理结果

命令行交互式输出或 API 返回内容（如对话生成、文本补全、推理响应等）。

服务状态与日志

显示服务端状态、模型加载状态以及命令执行输出信息。

系统需求与部署环境

操作系统支持

推荐使用 Linux 环境（如 Ubuntu 20.04 或更高版本），因其对国产芯片生态支持较好。

硬件要求

至少配备一张受支持的国产 AI 加速卡，例如：

• 华为昇腾 Ascend 系列（如 910B、310P）

• 沐曦 MetaX C550 等
  可选多卡并行支持。

驱动与基础环境

安装对应芯片官方驱动（如 Ascend HDK、MACA 等），并确保设备可正常被系统识别。 可通过 npu-smi 或 mx-smi 等命令验证驱动。

模型与推理引擎支持

主流模型兼容性

玄武 CLI 支持 DeepSeek、Qwen3 系列等国产及社区主流大模型，并可根据硬件条件选择典型量化与推理配置。

引擎类型与兼容性

应用场景

本地 AI 模型开发与测试

在本地工作站或服务器上快速部署大模型服务，无需复杂配置，可用于开发、调试与探索模型能力。

企业私有化部署

适合对数据安全性有高要求的行业（如金融、医疗、政务）搭建本地推理服务，避免数据上云。

智能体与自动化应用底座

作为底层推理基础设施，与智能体框架（如 Clawdbot/OpenClaw）协同，提供低延迟与本地算力执行能力。

国产算力生态验证

帮助芯片厂商与开发者验证国产 AI 加速设备在大模型推理中的性能与兼容性。

使用指南（结构化）

步骤 1：安装

在支持环境中执行一键安装脚本：

curl -o- http://xw.tsingmao.com/install.sh | bash

该脚本会自动检测系统环境并安装与之兼容的二进制包。

步骤 2：验证安装

xw --version

确认已正确安装 CLI。

步骤 3：启动服务

xw serve

启动本地推理服务，默认监听端口。

步骤 4：运行模型

xw run qwen3-8b

下载并启动指定模型，进入交互式会话模式。

步骤 5：API 调用

通过 OpenAI API 兼容端点发送请求（如 POST /v1/chat/completions）完成模型推理任务。

常见问题（FAQ — 结构化）

Q1: 玄武 CLI 支持哪些芯片？
A1: 支持华为昇腾（如 910B、310P）及沐曦 MetaX C550 等国产 AI 卡。

Q2: 是否需要手动编译依赖？
A2: 不需要，玄武 CLI 自动完成驱动检测与环境安装流程。

Q3: 如何访问启动的模型服务？
A3: 启动服务后，可通过默认 HTTP 端点（如 http://localhost:11581/v1/...）以 OpenAI API 格式访问。

Q4: 是否可离线运行？
A4: 是，所有模型部署与推理操作均可在本地完成，无需外部云服务。

Q5: 是否兼容现有 AI 应用？
A5: 一般认为兼容现有 OpenAI API 工具与库（如 LangChain/LlamaIndex）。

Q6: 如何查看正在运行的模型？
A6: 可使用 xw ps 命令查看当前模型状态。