DreamGen翻译站点

DreamGen 是由 NVIDIA GEAR 实验室于 2025 年 5 月推出的一项前沿研究成果，旨在通过生成高质量的合成机器人数据，显著提升机器人学习的泛化能力。

🚀 项目简介

DreamGen 提出了一种创新的四阶段流程，用于生成“神经轨迹”（neural trajectories），即通过视频世界模型生成的合成机器人数据。这一方法使得机器人能够在无需大量人工遥操作数据的情况下，学习并执行多种新任务，甚至在未见过的环境中表现出色。

该流程包括：

1. 视频世界模型微调：对图像到视频的扩散模型进行微调，使其适应特定机器人的动态特性。

2. 视频生成：利用初始帧和语言指令，生成包含新行为和新环境的机器人视频。

3. 伪动作提取：通过潜在动作模型或逆动力学模型（IDM）从视频中提取伪动作序列。

4. 策略训练：使用标注了伪动作的神经轨迹，训练下游的视觉-运动策略。

🎯 关键优势

• 零样本泛化能力：在仅使用单一环境中的“抓取-放置”任务数据进行训练的情况下，DreamGen 使人形机器人能够在新环境中执行 22 种新行为，如倒水、熨衣、敲击键盘等，成功率分别达到 43.2% 和 28.5% 。

• 适用于多种机器人平台：DreamGen 已在 GR1 人形机器人、Franka 机械臂和 SO-100 等平台上验证，能够处理如折叠毛巾、使用锤子等复杂任务。

• 突破仿真到现实的鸿沟：与传统的仿真数据生成方法相比，DreamGen 直接生成真实世界的合成数据，避免了仿真到现实的迁移问题。

📊 DreamGen Bench 基准测试

为评估视频生成模型在机器人学习中的适应性，研究团队引入了 DreamGen Bench 基准测试。该测试通过评估生成视频的指令遵循性和物理合理性，衡量不同模型在新任务和环境中的表现，为视频模型研究者提供了一个无需实体机器人即可参与机器人学习研究的低成本途径 。

🔗 相关资源

• 项目主页：https://research.nvidia.com/labs/gear/dreamgen/

• 研究论文：DreamGen: Unlocking Generalization in Robot Learning through Neural Trajectories

DreamGen 的推出标志着机器人学习领域的一次重大突破，为实现更高效、低成本的机器人训练提供了新的可能。其创新的方法论和显著的性能提升，使其成为机器人研究和应用领域的重要工具。