Kwai Keye‑VL翻译站点

什么是 Kwai Keye‑VL？

Kwai Keye‑VL 是由快手（Kuaishou）开发的多模态大型模型——基于 Qwen3‑8B 加入视觉编码与视频能力的扩展。它专为短视频理解设计，同时兼具图像-语言处理能力，是 AI 工具使用者面对视觉语言任务的一大利器。

核心特点

多模态能力：图像 + 视频 + 文本

支持静态图片和视频输入，采用统一格式，让用户以相同接口处理图文与视频任务 。

8 亿参数量级

容量为 8 B 参数，定位于中型基座模型，兼具灵活性能与较低部署成本。

专注短视频理解

针对短视频建立预训练及 post-train 流程，在 Video-MME、MMVU、TempCompass 等基准上表现卓越。

推理模式切换机制

支持轻/重思考控制语，可用如 “/think” 或 “/no_think” 控制复杂推理启停。

架构与训练流程

视觉编码器 + Qwen3 模型

引入 SigLIP 初始化的视觉编码器，采用动态分辨率机制，将图像分为 14×14 patch，并通过 MLP 与 Qwen3 集成。

3D RoPE 统一机制

利用旋转位置编码确保图文视频的时序同步，让模型精准理解帧间动态 。

四阶段预训练

1. 视觉预训练：提升视觉编码器识别能力；

2. 跨模态对齐：冻结主干，仅训练 MLP 建立视觉语言桥梁；

3. 多任务联合训练：解锁全部参数，全面提升多模态能力；

4. 退火训练融合：通过高质量数据调优并融合模型权重。

两阶段 Post‑Train 精调

• 第一阶段：无推理指令场景下进行 SFT 及偏好优化；

• 第二阶段：引入 Chain‑of‑Thought（CoT）与 RL，使模型自动判断是否推理。

性能评测

• 在视频理解基准中遥遥领先，如 Video-MMMU、LongVideoBench 等。

• 图像处理任务表现同样强劲，堪比顶级视觉语言模型。

• 具备复杂逻辑与数学推理能力，在 WeMath、MathVerse 等测评中表现出色。

使用指南

安装流程

pip install keye-vl-utils pip install git+https://github.com/huggingface/transformers accelerate

推理示例

from transformers import AutoModel, AutoProcessor from keye_vl_utils import process_vision_info model = AutoModel.from_pretrained("Kwai-Keye/Keye-VL-8B-Preview", \ torch_dtype="auto", device_map="auto", trust_remote_code=True).to('cuda') processor = AutoProcessor.from_pretrained("Kwai-Keye/Keye-VL-8B-Preview", trust_remote_code=True) messages = [{"role": "user", "content":[{"type":"image","image":"file:///path/to/img.jpg"},{"type":"text","text":"Describe this image./think"}]}] text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) images, videos = process_vision_info(messages) inputs = processor(text=[text], images=images, videos=videos, padding=True, return_tensors="pt").to('cuda') out_ids = model.generate(**inputs, max_new_tokens=512) print(processor.batch_decode(out_ids, skip_special_tokens=True))

同理支持视频输入方式 。

性能优化建议

• 使用 FlashAttention 2 加速多模态推理；

• 调整 VIDEO_MAX_PIXELS 配合 GPU 显存。

• 选择 /no_think 模式减少推理成本。

使用场景

视频内容摘要

轻松生成短视频核心内容或关键帧语义概括。

视频问答

针对视频片段提出问题并得到模型回答，如“这段视频展示了什么操作？”。

商品识别与 OCR

识别视频中的文字信息、商品种类，支持电商内容理解。

多模态逻辑推理

回答结合视频中细节与上下文的复杂问题，如推理行为动机。

常见问题（FAQ）

Q1: Keye‑VL 支持哪些输入格式？
支持图片、视频路径、视频帧列表、URL 和 base64 输入 。

Q2: 如何控制模型推理深度？
通过 prompt 中的 /think、/no_think 等标签灵活切换模式。

Q3: 是否可以离线部署？
参数开放开源，可在本地 GPU 环境部署，但需注意显存排布与性能优化需求。

Q4: 如何处理 GPU 显存限制？
可设置 VIDEO_MAX_PIXELS 和 FlashAttention 2 来平衡输入分辨率与显存使用。

Q5: 支持中文吗？
支持中文视觉与语言任务，训练中包含大量中英文数据。

Q6: 如何引用学术论文？

@misc{yang2025kwai_keye_vl, title = {Kwai Keye-VL: An 8B multimodal foundation model for short-video understanding}, author = {Kwai Keye Team and Biao Yang et al.}, year = {2025}, eprint = {2507.01949}, archivePrefix = {arXiv}, primaryClass = {cs.CV} }

面向谁？

• 研究者与开发者：需要高性能短视频理解与问答能力者。

• 产品工程师：构建短视频推荐、摘要、检索、OCR 等功能。

• 多模态学习者：对视觉-语言融合和 Chain-of-Thought 感兴趣者。

总结与展望

Kwai Keye‑VL 创新地将视觉编码器与 Qwen3 模型结合，并通过多模态预训练 + 推理流程，实现强大的图像与视频理解能力。其支持灵活推理控制、OKR 支持中文视频，适配短视频时代多场景需求。未来，该模型将持续演进推理能力、模型压缩与跨语言能力，并作为快手 AI 工具生态的核心组件。