Pixel3DMM

Pixel3DMM 是一款由慕尼黑工业大学（TUM）、Synthesia 和伦敦大学学院（UCL）研究团队于 2025 年 5 月联合发布的开源 AI 工具，旨在实现从单张 RGB 图像中高精度地重建 3D 人脸模型。该工具通过结合强大的视觉基础模型和先进的几何约束方法，为面部建模、虚拟人、数字孪生等领域提供了高效的解决方案。

核心功能亮点

• 单图 3D 重建：Pixel3DMM 能够从单张人脸照片中提取像素级几何线索，准确重建 3D 人脸模型，适用于缺乏多视角数据的场景。

• 融合 DINO 基础模型：利用 DINOv2 的强大视觉特征提取能力，结合定制的法线和 UV 坐标预测头，提升了模型对复杂面部表情和角度的适应性。

• 优化驱动的 3DMM 拟合：通过预测的法线和 UV 坐标，引导 FLAME 3D 可变形人脸模型的参数优化，实现高保真的面部重建。

• 多样化数据训练：模型在三个高质量 3D 人脸数据集上进行训练，涵盖超过 1000 个身份和 97.6 万张图像，确保了对不同种族、性别和表情的广泛适应性。

• 新基准评估体系：引入了一个新的单图人脸重建评估基准，首次同时评估带表情和中性表情的几何精度，提升了评估的全面性和实用性。

应用场景

• 虚拟人和数字人建模：快速构建高精度的 3D 人脸模型，应用于虚拟主播、数字人等领域。

• 游戏与影视制作：为角色建模提供高质量的人脸重建数据，提升角色的真实感和表现力。

• AR/VR 应用：在增强现实和虚拟现实中，实现用户面部的实时 3D 重建，增强交互体验。

• 医学与法医分析：辅助进行面部重建和分析，应用于整形手术规划、法医鉴定等领域。

获取方式

Pixel3DMM 项目的详细信息、论文和演示可通过以下链接访问：

• 项目主页：https://simongiebenhain.github.io/pixel3dmm

• 论文地址：https://arxiv.org/abs/2505.00615

目前，项目的代码和数据集尚未公开，感兴趣的用户可关注项目主页获取最新更新。

Pixel3DMM 的推出，为单图 3D 人脸重建提供了一个高效、精确的解决方案，特别适用于需要高质量人脸建模的应用场景。其结合了先进的视觉基础模型和优化方法，为相关领域的研究和应用提供了强有力的支持。