Molmo 2翻译站点

什么是 Molmo 2

Molmo 2 是由 Allen Institute for AI（Ai2） 研究团队发布的一款 先进开放多模态模型套件，以 视频理解、空间定位（pointing）、追踪（tracking）和密集描述（dense captioning） 为核心任务，能联合理解视频、图像和文本信息，提供跨时空的推理与交互能力。 艾伦人工智能研究所

它是对原始 Molmo 模型的重大升级，继承了 Image-Pointing（图像定位）和高质量图像问答能力，并扩展至视频与多图像输入，引入了定义性更强的空间–时间定位机制，使模型在多个开放权重视觉–语言基准中表现出最顶级性能。 艾伦人工智能研究所

Molmo 2 的设计目标是提供一个近乎开源最高水平的视频感知与理解模型，便于研究者和开发者在不依赖封闭 API 的情况下，构建强大的视频问答、追踪、对象计数与密集标注系统。 艾伦人工智能研究所

Molmo 2 的技术架构与核心能力

多模态融合架构

Molmo 2 的体系结构核心由三个部分构成：

1. 视觉编码器（Vision Encoder）
   负责将图像或视频帧转换为视觉令牌（visual tokens），捕捉空间特征。 艾伦人工智能研究所

2. 语言理解主干（LLM Backbone）
   结合文本提示和视觉令牌进行联合空间–时间推理，理解视觉内容与用户查询之间的复杂语义关系。 艾伦人工智能研究所

3. 轻量连接模块（Connector）
   将视觉令牌与语言令牌融合，同时引入时间戳、多图像索引等信息，使模型能够对视频中“何时”和“何处”发生的事件进行空间–时间定位。 艾伦人工智能研究所

这种设计使 Molmo 2 能够在图像、视频和多图像集合之间进行统一理解，并生成既包含语言回答又包含空间位置和时间标注的输出。 艾伦人工智能研究所

空间–时间定位（Video Pointing & Tracking）

Molmo 2 的一项核心能力是其视频定位与追踪能力。不同于传统仅输出语言答案的模型，Molmo 2 可以：

• 对视频帧中的事件输出 像素级坐标 + 时间戳

• 实现 对象跨遮挡跟踪

• 解决空间–时间参考表达（如“谁在第 31 秒进球？”）

• 实现计数与目标定位（Counting by Pointing）

这一能力来自其训练目标在视觉问答中 输出空间坐标，不仅仅是文本答案，还提供人类可验证的证据位置。 艾伦人工智能研究所

密集视频标注与复杂问答推理

Molmo 2 在复杂视频理解任务上表现出色，包括：

• 密集视频字幕（dense captioning）：对整个视频剪辑生成连贯的长文本描述。

• 长视频问答（long-video QA）：回答跨多个时段的问题，理解长期动态关系。

• 对象计数与问答（counting + QA）：在多帧视频中输出物体或事件计数，并提供可视化定位。 艾伦人工智能研究所

这些能力大幅超越早期 Molmo 模型和同类开放权重模型，并在一些任务上与顶级封闭系统（如 Gemini 3 Pro）相竞争。 艾伦人工智能研究所

Molmo 2 的三种变体

Molmo 2 旨在覆盖从高性能研究到轻量部署的不同需求，提供以下三个变体：

• Molmo 2 (8B)： 基于 Qwen 3 的主力模型，适合高精度视频理解与复杂推理任务。 艾伦人工智能研究所

• Molmo 2 (4B)： 同样基于 Qwen 3，但针对效率和资源受限场景优化。 艾伦人工智能研究所

• Molmo 2-O (7B)： 基于 Ai2 自研开放 LLM Olmo，可全栈开放，便于深度研究与自定义扩展。 艾伦人工智能研究所

这些变体在参数规模和推理效率上各有所长，使得 Molmo 2 不仅适合科研探索，也适用于轻量级产品和跨平台部署。 艾伦人工智能研究所

训练方法与大规模数据支持

Molmo 2 的核心训练策略包括两个阶段：

1. 视觉–语言对齐预训练： 采用联合图像标注与定位任务，使模型学习空间定位与视觉理解。 艾伦人工智能研究所

2. 多模态混合微调： 在图像、视频、文本、密集问答与追踪数据上细调模型，以提升跨任务表现。 艾伦人工智能研究所

为实现对视频的深度理解，该项目构建了一个规模超过 9 百万示例的数据集合集，包括密集字幕、长视频问答、定位数据等多个定制数据集，使训练覆盖更广泛的视觉–时间动态。 艾伦人工智能研究所

性能对比与评价

在 Ai2 发布的评估数据中，Molmo 2 表现出显著的优势：

• 在图像与多图像问答、视频问答、计数和定位等基准测试中，全体变体均名列开放权重模型之首。 艾伦人工智能研究所

• 在一些任务中 Molmo 2 的表现甚至超越了闭源系统（例如在视频追踪任务上以较高优势领先 Gemini 3 Pro）。 艾伦人工智能研究所

• 人类偏好评估中，Molmo 2（8B）在开放模型中表现最优。 艾伦人工智能研究所

虽然在某些最前沿闭源模型上仍略有差距，但其开放性和高性能使其成为研究者和开发者的重要工具。 艾伦人工智能研究所

主要功能与典型应用场景

视频问答与多模态检索

使用 Molmo 2 用户可以对视频片段提出自然语言问题，如：

• “这个人什么时候第一次拿起红球？”

• “在这个剪辑中，哪一帧显示了全部动作？”

模型不仅返回答案，还提供空间坐标和时间戳，帮助开发更复杂的视频智能应用。 艾伦人工智能研究所

对象跟踪与计数系统

Molmo 2 能识别视频中对象并跟踪其在时间序列上的运动轨迹，还可在用户指令下计算动作或对象出现的次数，这适用于：

• 监控与行为分析

• 运动事件计数与分析

• 视频内容搜索与过滤艾伦人工智能研究所

密集视频生成与描述

利用密集字幕能力，Molmo 2 可自动生成长文本描述，涵盖视频中的复杂事件、动作关系与背景，从而提升：

• 自动摘要与剪辑描述

• 内容标签与搜索性能

• 可视化讲解与字幕辅助系统艾伦人工智能研究所

使用与集成

Ai2 Playground体验

Molmo 2 已集成到 Ai2 Playground，用户可直接上传视频或多张图片测试其定位、追踪、计数等功能，无需自行部署基础设施。 艾伦人工智能研究所

API 与未来支持

官方计划近期发布 API 接口，使开发者能够在自己的系统中直接调用 Molmo 2 的视频理解功能进行自动分析与推理。 艾伦人工智能研究所

常见问题（FAQ）

Q1: Molmo 2 是什么？
A1: Molmo 2 是 Allen Institute for AI 发布的开源多模态模型，专注视频与图像理解、空间–时间定位、追踪与密集标注任务。 艾伦人工智能研究所

Q2: Molmo 2 支持哪些输入模式？
A2: 支持视频剪辑、单图像、多图像集合和文本查询的联合理解与定位。 艾伦人工智能研究所

Q3: 模型变体有哪些区别？
A3: 8B 变体性能最强，4B 更轻量高效，7B-O 则完全开放用于深入研究。 艾伦人工智能研究所

Q4: Molmo 2 在评估中表现如何？
A4: 在视频追踪、计数、定位与问答等基准测试中领先大多数开放模型，并与一些闭源系统竞争。 艾伦人工智能研究所

Q5: 是否公开数据与代码？
A5: 是的，模型、数据、训练代码和评估工具均可通过 GitHub、Hugging Face 和 Ai2 Playground 获取。 艾伦人工智能研究所

Q6: 如何开始使用 Molmo 2？
A6: 可直接在 Ai2 Playground 在线体验，或通过 GitHub/Hugging Face 下载代码和权重进行本地开发。 艾伦人工智能研究所

结语

Molmo 2 标志着开放多模态 AI 的一个重要里程碑，通过空间–时间定位、密集描述、视频追踪与长视频理解功能，将视频与多图像分析推向新的高度。结合其高性能、开放架构与配套数据集，Molmo 2 不仅是研究前沿的重要工具，也是 AI 工具使用者构建智能视频理解系统的强大助力。 艾伦人工智能研究所