TRELLIS.2翻译站点

什么是 TRELLIS.2

TRELLIS.2 是微软发布的 开源大型 3D 生成模型，旨在从 2D 图像输入快速生成高质量、全纹理（PBR）3D 资产。该模型拥有约 40 亿参数（4B），结合了创新的 O-Voxel 稀疏体素结构 和 稀疏压缩变分自编码器（Sparse 3D VAE），能够捕捉细致几何与丰富的材质属性，实现高分辨率 3D 输出。 microsoft.github.io+1

TRELLIS.2 在技术栈上突破了传统等值面或密集体素方法的局限，支持复杂形态如开放表面、非流形与内部结构的生成，并输出包括色彩、粗糙度、金属度和透明度等 PBR（Physically Based Rendering） 属性，使得生成的模型可直接用于渲染或游戏引擎中。 microsoft.github.io

微软将 TRELLIS.2 的代码与预训练权重以 MIT 开源许可 发布，支持开发者在 Linux 环境中本地部署运行，并可结合 NVIDIA GPU（如 H100 或 A100 等）进行高效推理。 GitHub

TRELLIS.2 的核心技术与架构

O-Voxel：新颖稀疏体素表示

TRELLIS.2 的核心之一是 O-Voxel 表示（Omni-Voxel），这是一种**“无场（field-free）”稀疏体素结构**，同时编码几何和外观信息。与传统密集体素或等值面方法相比，O-Voxel 结构能更高效、准确地表达复杂形状及细节，并在编码过程中保持拓扑灵活性（如开放表面和内部结构）。 microsoft.github.io

稀疏压缩 3D VAE（Sparse Compression VAE）

为了降低体素空间的维度并实现高效生成，TRELLIS.2 引入了 稀疏压缩变分自编码器（SC-VAE），该网络通过稀疏残差自编码机制将体素数据压缩到一个紧凑的结构化潜空间——Structured Latents，使得大规模 3D 生成成为可能。 microsoft.github.io

该潜空间与 16× 空间压缩率（spatial compression） 密切相关，有效减少了潜表示维度，同时在感知质量方面保持了极低的退化。 microsoft.github.io

支持多分辨率输出

TRELLIS.2 的生成能力覆盖多个分辨率等级，可输出从 512³ 到 1536³ 的立方体体素分辨率，其中：

• 512³ 生成约 3 秒

• 1024³ 生成约 17 秒

• 1536³ 生成约 60 秒
  （测试环境为 NVIDIA H100 GPU） microsoft.github.io

这种性能使得 TRELLIS.2 适用于从快速原型到高保真渲染的不同使用场景。 microsoft.github.io

TRELLIS.2 的主要功能与能力

1. 图像到 3D 资产的直接生成

TRELLIS.2 的核心功能是从一张图像（或多图像）输入直接生成 3D 网格，同时产生完整的 PBR 纹理信息。该流程包括：

• 输入 2D 图像

• 模型编码并生成潜空间结构

• 解码为带有物理基渲染属性（Base Color、Roughness、Metallic、Alpha）的 3D 纹理模型

• 通过标准格式导出用于后续渲染或编辑 GitHub

输出格式（如 .glb）兼容常用 3D 软件（Blender、Unity、Unreal 等），可直接用于设计、游戏和 AR/VR 应用。 aibase.com

2. 可处理复杂拓扑结构

由于采用了稀疏 O-Voxel 和压缩潜空间表示，TRELLIS.2 能够稳健处理复杂拓扑结构，包括：

• 开放表面（如衣物或叶片）

• 非流形几何

• 内部封闭空间结构

这使得模型对真实世界场景具有更高的适用性和表达能力。 GitHub

3. 全纹理、高保真渲染能力

TRELLIS.2 的生成结果不仅形态精细，还包含丰富材质属性：

• Base Color（基色）

• Roughness（粗糙度）

• Metallic（金属度）

• Opacity（透明度）

这些属性在真实光照条件下可供物理渲染，从而实现逼真的视觉效果，特别适合用于产品展示、艺术创作和虚拟环境。 GitHub

4. 极简处理管线

与某些需要手动优化或渲染前处理的生成方法不同，TRELLIS.2 支持即开即用的图像到 3D 管线：

• 有效将纹理网格快速编码为 O-Voxel

• 能在 CPU 或 GPU 下迅速转换

• 无需复杂的后期手动优化 microsoft.github.io

这种极简数据管线降低了用户上手门槛，同时提升了整体效率。 microsoft.github.io

TRELLIS.2 的应用场景

3D 游戏与实时渲染

TRELLIS.2 生成的高保真 3D 模型可直接导入游戏引擎（如 Unity、Unreal），用于场景构建、资产生成和可视化流程中，加速游戏制作周期。 trellis2.pro

AR/VR 内容生产

AR/VR 平台普遍要求高度逼真且结构紧凑的 3D 资产。TRELLIS.2 可用于快速生成可交互的虚拟对象和环境，提高 AR/VR 交互体验的沉浸感与响应速度。 trellis2.pro

电商与产品展示

在电子商务和产品展示中，商家可利用 TRELLIS.2 将产品照片自动转换成交互式 3D 展示模型，从而提升消费者体验和互动率。 aibase.com

建筑可视化与设计评审

建筑师和设计师可通过模型快速将概念草图或效果图转化为 3D 资产，并用于设计评审、工效评估与视觉沟通。 trellis2.pro

教育与科研

TRELLIS.2 的开放源码和创新架构适用于研究用途，如 3D 表示学习、潜空间生成机制研究，以及教学场景中讲解高维生成模型原理。 microsoft.github.io

如何使用 TRELLIS.2

获取并构建代码

从 GitHub 仓库克隆 TRELLIS.2，并根据说明安装依赖： GitHub

git clone https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm

安装完成后，可在 Python 环境中调用预训练模型进行图像到 3D 资产生成。 GitHub

运行和导出示例

在代码中加载预训练模型并进行图像到 3D 生成的基本流程如下：

1. 设置环境贴图

2. 加载 TRELLIS.2 模型管线

3. 输入图片执行推理

4. 渲染预览或导出为 GLB 文件用于后续应用 GitHub

（可参考官方 GitHub 示例） GitHub

TRELLIS.2 的优势与限制

主要优势

• 高质量、多分辨率生成：支持 512³–1536³ 细节模型快速生成。 microsoft.github.io

• 复杂形态处理能力强：开放结构和内部形状可准确表达。 GitHub

• 全 PBR 材质支持：生成即渲染就绪的 3D 资产。 GitHub

• 开源与可扩展：MIT 许可下发布，易于集成与二次开发。 GitHub

常见问题（FAQ）

Q1: TRELLIS.2 是什么？
A1: TRELLIS.2 是微软开源的大规模 3D 生成模型，可根据 2D 图像自动生成高质量、全纹理 PBR 3D 模型。 microsoft.github.io

Q2: 它如何生成 3D 模型？
A2: TRELLIS.2 利用 O-Voxel 结构和稀疏 3D VAE 将输入图像编码到紧凑潜空间，并解码成带几何与材质信息的 3D 资产。 microsoft.github.io

Q3: 需要什么硬件？
A3: 运行 TRELLIS.2 最佳环境是带有至少 24GB VRAM 的 NVIDIA GPU（例如 H100、A100）。 GitHub

Q4: 可以输入多张图片吗？
A4: 当前官方版本主要针对单张图像生成，但社区有多种扩展方案支持多图像输入。 Reddit

Q5: 输出格式支持哪些？
A5: 常见输出包括可渲染 3D 网格（如 GLB）和 PBR 材质，可直接用于 Blender、Unity、Unreal 等工具。 aibase.com

Q6: TRELLIS.2 可以用于商业用途吗？
A6: TRELLIS.2 以 MIT 开源许可发布，允许用于商业开发，但实际使用应遵循所涉及依赖库的许可。 GitHub

结语

TRELLIS.2 是目前图像到 3D 生成领域的代表性开源成果之一，它结合了结构化潜空间、稀疏体素编码和高效推理架构，使得单张图像到逼真三维资产生成成为可能。无论是游戏开发、产品展示、AR/VR 内容创建还是科研探索，TRELLIS.2 都为 AI 工具使用者提供了强大的 3D 生成能力与开放生态支持。 microsoft.github.io