Kwai Keye‑VL SITES

// 01 Kwai Keye‑VL 是什么

什么是 Kwai Keye‑VL？

Kwai Keye‑VL 是由快手（Kuaishou）开发的多模态大型模型——基于 Qwen3‑8B 加入视觉编码与视频能力的扩展。它专为短视频理解设计，同时兼具图像-语言处理能力，是 AI 工具使用者面对视觉语言任务的一大利器。

核心特点

多模态能力：图像 + 视频 + 文本

支持静态图片和视频输入，采用统一格式，让用户以相同接口处理图文与视频任务 。

8 亿参数量级

容量为 8 B 参数，定位于中型基座模型，兼具灵活性能与较低部署成本。

专注短视频理解

针对短视频建立预训练及 post-train 流程，在 Video-MME、MMVU、TempCompass 等基准上表现卓越。

推理模式切换机制

支持轻/重思考控制语，可用如 “/think” 或 “/no_think” 控制复杂推理启停。

架构与训练流程

视觉编码器 + Qwen3 模型

引入 SigLIP 初始化的视觉编码器，采用动态分辨率机制，将图像分为 14×14 patch，并通过 MLP 与 Qwen3 集成。

3D RoPE 统一机制

利用旋转位置编码确保图文视频的时序同步，让模型精准理解帧间动态 。

四阶段预训练

1. 视觉预训练：提升视觉编码器识别能力；

2. 跨模态对齐：冻结主干，仅训练 MLP 建立视觉语言桥梁；

3. 多任务联合训练：解锁全部参数，全面提升多模态能力；

4. 退火训练融合：通过高质量数据调优并融合模型权重。

两阶段 Post‑Train 精调

• 第一阶段：无推理指令场景下进行 SFT 及偏好优化；

• 第二阶段：引入 Chain‑of‑Thought（CoT）与 RL，使模型自动判断是否推理。

性能评测

• 在视频理解基准中遥遥领先，如 Video-MMMU、LongVideoBench 等。

• 图像处理任务表现同样强劲，堪比顶级视觉语言模型。

• 具备复杂逻辑与数学推理能力，在 WeMath、MathVerse 等测评中表现出色。

使用指南

安装流程

pip install keye-vl-utils pip install git+https://github.com/huggingface/transformers accelerate

推理示例

from transformers import AutoModel, AutoProcessor from keye_vl_utils import process_vision_info model = AutoModel.from_pretrained("Kwai-Keye/Keye-VL-8B-Preview", \ torch_dtype="auto", device_map="auto", trust_remote_code=True).to('cuda') processor = AutoProcessor.from_pretrained("Kwai-Keye/Keye-VL-8B-Preview", trust_remote_code=True) messages = [{"role": "user", "content":[{"type":"image","image":"file:///path/to/img.jpg"},{"type":"text","text":"Describe this image./think"}]}] text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) images, videos = process_vision_info(messages) inputs = processor(text=[text], images=images, videos=videos, padding=True, return_tensors="pt").to('cuda') out_ids = model.generate(**inputs, max_new_tokens=512) print(processor.batch_decode(out_ids, skip_special_tokens=True))

同理支持视频输入方式 。

性能优化建议

• 使用 FlashAttention 2 加速多模态推理；

• 调整 VIDEO_MAX_PIXELS 配合 GPU 显存。

• 选择 /no_think 模式减少推理成本。

使用场景

视频内容摘要

轻松生成短视频核心内容或关键帧语义概括。

视频问答

针对视频片段提出问题并得到模型回答，如“这段视频展示了什么操作？”。

商品识别与 OCR

识别视频中的文字信息、商品种类，支持电商内容理解。

多模态逻辑推理

回答结合视频中细节与上下文的复杂问题，如推理行为动机。

// 04 常见 问题

// 05 资料 来源