AI视频生成框架

一个面向 AI 研究与工具使用者的多模态、多任务视频生成框架，通过统一视觉模态（例如深度、光流、骨骼和分割掩码等）与训练范式，显著提升 AI 视频合成的质量、一致性与现实世界对齐能力。本文深度介绍 UnityVideo 的原理、技术构成、应用场景与常见问题解答。

OmniAvatar 是由浙江大学与阿里巴巴联合开发的开源音频驱动全身 avatar 视频生成模型，支持精确 lip‑sync、自然身体动作、文本控制和背景调节，适用于播客、教育、娱乐等多场景，高效、可定制。

一种创新的 视频生成框架，基于扩散模型实现实时音驱动肖像视频生成，采用一致性训练、量化与流水线并行技术，在 RTX 4090 上可达 78 FPS，并支持表情与状态控制，适用于虚拟人、交互式内容等场景。

由中山大学深圳校区、美团及香港科技大学联合提出的 音频驱动多人人物对话视频生成框架。