Vidu

Vidu是由北京生数科技有限公司联合清华大学研发的中国首个长时长、高一致性、高动态性视频大模型，于2024年4月27日在中关村论坛首次发布。该模型通过融合Diffusion与Transformer的原创架构U-ViT，实现了视频生成技术的突破，支持一键生成最长16秒、分辨率达1080P的高清视频内容，并在生成速度、多主体一致性、应用场景等方面展现了显著优势。

一、核心技术与功能亮点

1. 架构创新
   Vidu采用原创的U-ViT架构，结合扩散模型（Diffusion）与Transformer的优势，既保证了视频生成的高效性，又提升了画面质量。这一架构早于同类国际模型（如Sora），奠定了其在技术上的领先地位。
2. 生成能力
   • 长时长与高分辨率：支持生成最长16秒、分辨率达1080P的视频，且画面具有高动态性和时空一致性。
   • 多模态输入：提供文生视频（通过文本描述生成视频）、图生视频（基于图像生成动态内容）和参考视频生成（通过参考角色、物体或环境生成一致性内容）三大核心功能。
   • 多主体一致性：可同时保持人脸、物体及虚拟角色的生成一致性，解决了传统AI视频生成中主体跳变的问题。
3. 效率与成本优化
   • 生成速度从最初的30秒（生成4秒视频）提升至Vidu 2.0版本的10秒内生成4秒视频，进入“秒级时代”。
   • 生成成本降至每秒钟4分钱，大幅降低了商业化应用门槛。

二、应用场景与商业化进展

1. 行业应用
   • 创意内容与影视制作：简化影视动画流程，支持多镜头生成与特效画面，例如与美国Aura Productions合作推出50集科幻动漫剧集。
   • 广告与电商：生成个性化广告视频及商品展示内容，已被亚马逊等企业用于商品图生成10。
   • 教育与科研：用于制作教学视频或模拟实验场景。
2. 全球化布局
   • 上线仅20天用户突破百万，覆盖全球200多个国家和地区，海外用户占比显著，尤其在泛娱乐和广告领域广泛应用。
   • 本地化适配：针对不同地区文化偏好调整模型训练数据，提升内容适配性。

三、技术迭代与未来方向

1. 版本升级
   • Vidu 1.5版本新增角色一致性和动漫风格生成功能。
   • Vidu 2.0版本进一步优化生成速度与画面精细度，并推出“分时代”低成本方案。
2. 未来规划
   • 多模态模型开发：计划推出结合物理世界交互的通用模型，例如整合传感器数据以操控机械或生成3D内容。
   • 行业深耕：聚焦影视、广告等核心领域，提供垂直化解决方案。

四、行业影响与挑战

Vidu的发布标志着中国在生成式AI领域的技术突破，但其发展也面临挑战：

• 伦理与合规性：需确保生成内容的真实性，防范虚假信息滥用。
• 技术竞争：国际竞争加剧，需持续迭代以保持领先优势。

总结来看，Vidu通过技术创新与商业化落地，正在推动视频生成从专业工具向普惠化发展，其多主体一致性、低成本与全球化布局使其成为AI视频领域的标杆产品。未来，随着多模态技术的深化，其应用潜力将进一步释放。