// 01 V‑JEPA 2 是什么
一、什么是 V‑JEPA 2？
V‑JEPA 2（Video Joint Embedding Predictive Architecture 2）是 Meta AI 于 2025 年 6 月 11 日发布的先进世界大模型，专为视觉理解与物理推理设计。它主要通过大规模视频网站进行自监督训练，形成对真实世界的“世界模型”能力，可支持视频预测、物理场景理解及机器人计划控制。
二、为何选择 V‑JEPA 2？
庞大训练规模
利用超过 100 万小时互联网视频进行自监督预训练，无需标注数据。非生成而是理解驱动
V‑JEPA 2 不生成视频，而是在 latent embedding 空间进行掩码预测，重点推理动作轨迹与物理状态。世界模型能力
拥有理解—预测—计划三阶段能力，具备物理推理力，可预测真实世界的变化趋势。零样本机器人控制
V‑JEPA 2-AC 在无任务调优情况下，通过少量机器人交互视频实现定位、抓取与放置任务。开源发布
Meta 发布模型代码与视频推理 benchmark，并附世界模型评价库，为研究社区提供资源。
三、V‑JEPA 2 的核心能力
⚙️ 1. 自监督视频预训练
利用视觉掩码目标（mask denoising）在 embedding 空间进行训练，可有效获取时空信息。
🧠 2. 世界理解能力
具备高效运动辨识能力，在 Something‑Something v2、Epic‑Kitchens‑100 等数据集上表现优异。
🔍 3. 视频问答对齐
与大型语言模型联合，达成视频问答（VideoQA）任务的 SOTA 表现，包括 PerceptionTest、TempCompass 等评测。
🤖 4. 机器人任务规划
使用 V‑JEPA 2‑AC 版，可在新环境中执行抓取放置等任务，并通过 latent 预测结合 Model Predictive Control 进行动作计划。
四、技术原理深度剖析
Joint-Embedding Mask Denoising
利用视频分帧掩码后预测 embedding，通过 EMA 提稳模型训练。多阶段预训练结构
第一阶段海量无监督视频预训练，第二阶段使用少量机器人交互数据进行 V‑JEPA 2‑AC 后训练。Transformer ViT 架构
使用图像-视频 ViT 模型，结合 RoPE 相对位置编码提升时空关系建模。latent 空间动作预测
V‑JEPA 2‑AC 採自动回归 transformer，结合动作与视觉 embedding 预测后续视觉状态。无监督+小样本结合策略
混合视频大数据与少量交互数据训练，使模型兼具泛化与物理可控能力。
五、应用场景实例
| 应用场景 | 核心价值 |
|---|---|
| 视觉理解研究 | 提供 SOTA 视频辨识能力，用于动作识别、领域理解 |
| 视频 QA 系统 | 用于视频问答、分析工具提升理解深度 |
| 机器人物理交互 | 基于视觉规划，实现抓取与放置等任务 |
| 自动驾驶/无人机 | 利用世界模型预测轨迹，提升路径规划能力 |
| AR/VR 智能交互 | 用于真实世界环境建模与物理反馈 |
六、使用案例与实践指南
研究论文检索：查阅 V‑JEPA 2 的 Arxiv 原理文档与代码库；
- 建立评测标准：使用 Meta 提供的动作理解与 VideoQA benchmark；
- 模型实验：搭建 transformer 下载 GitHub 代码并运行预训练模型；
- 机器人部署：结合 V‑JEPA 2‑AC + MPC 执行抓取任务；
- 扩展计划：探索长时段监控、语言条件规划等未来功能。
// 02 核心 功能
- 核心定位Meta 最新推出的 世界大模型，基于视频训练世界模型，实现机器理解、预测与计划，支持视频内物理推理、零样本机器人控制，推动 AI 向高级机器智能迈进。
- 分类索引当前归档在 AI 大模型 / 对话，方便和同频工具横向比较。
- 能力标签标签信息还在补全中，后续会继续增强能力维度。
- 使用入口已记录可访问入口，可通过本页主按钮跳转。
// 03 使用 场景
- 快速判断是否适合当前任务结合 AI 大模型 / 对话 定位和 相关能力 标签，先判断它是否匹配你的工作流。
- 横向比较同类工具从相同分类和标签继续探索替代工具，减少只看单个产品带来的选择偏差。
- 沉淀工具选型资料把官网入口、平台、版本和 NavXD 标签合并成一页，适合做选型记录或团队分享。
