// 01 Self Forcing 是什么
在自动回归视频扩散领域，Self Forcing 提出了一种革命性的新训练范式，通过在训练过程中模拟推理行为，大幅提高模型一致性和效率。本文将详细探讨Self Forcing的核心原理、技术实施、使用指南、实际应用、常见问题，以及相较竞品的独特优势，助力 AI 工具使用者全面理解并有效部署该技术。
Self Forcing 简介
Self Forcing, 全称 Bridging the Train–Test Gap in Autoregressive Video Diffusion，由 Adobe Research 与 University of Texas at Austin 的研究团队联合提出。其目标是通过在训练阶段模拟推理时的自回归生成流程，有效规避因推理条件与训练条件不一致导致的“exposure bias”问题。
该工具能在单卡 RTX 4090 上实现 480p 实时流式视频生成（约10 FPS），并达到与现有 state-of-the-art 扩散模型相当的视觉质量。
核心技术：回归训练中的 Self Forcing
模拟推理过程
Self Forcing 在训练中加入 autoregressive rollout，通过 KV 缓存机制持续保留历史帧生成的信息，并以此生成下一帧，从而使模型在训练期间就“体验”到推理的状态。
消除训练–推理错配
传统训练使用 ground‑truth 帧作为上下文，推理时只能依赖模型生成的帧，导致分布偏差。Self Forcing 在训练阶段就让模型“见到”自己生成的帧，使模型具备推理阶段处理自身输出的能力。
高速流式生成
借助 KV cache 与 few-step diffusion，Self Forcing 优化训练效率，能实时生成视频：首帧延迟约 0.8 秒，其余帧约 16 FPS（H100）/10 FPS（RTX 4090）。
实际性能评估与对比
初始延迟与推理帧率：首帧约 0.8s，续帧流式输出 16 FPS（H100）、10 FPS（4090）。
生成质量：输出稳定，视觉效果与 CausVid、Wan、SkyReels、MAGI 相当，同时避免色彩过饱和等 artifact 问题 。
速度优势：相较于竞品模型速度提升高达 150–400 倍，质量不输甚至优于这些模型。
核心模块及架构概览
KV 缓存机制：记录生成帧的中间特征，避免重复计算，提升训练 & 推理效率。
few-step diffusion：使用少量步骤形成 diffusion 框架，减少计算复杂度。
autoregressive rollout：训练中模拟推理序列推动下一个输出。
视频级别监督 loss：使用 holistic loss 提高生成帧序列的一致性与质量。
如何上手 Self Forcing
克隆回购与安装依赖
下载预训练模型：通过 Hugging Face 下载 Wan‑2.1 和 Self‑Forcing 检查点。
运行demo
推理生成视频：
训练新模型（多卡集群环境）：
使用建议与注意事项
硬件需求：建议配备 ≥24 GB 显存（如 RTX 4090/A100/H100）；
提示优化：推荐使用长 prompt，类似 Wand 的风格提升生成关联性；
采样器配置：建议使用 LCM sampler（FHIR guidance）；
量级控制：使用 few-step diffusion 与 KV cache 平衡速度与质量；
反馈迭代：可关注 GitHub issue 如 14B 模型支持等社区推进。
