TrackVLA翻译站点

TrackVLA是由银河通用于 2025 年 6 月发布的全球首个产品级端到端具身导航大模型（FSD）。该模型具备纯视觉环境感知、语言指令驱动、自主推理和零样本泛化能力，能实现从视觉感知到动作输出的全链路闭环。无需提前建图，在复杂环境中自主导航、灵活避障，根据自然语言指令识别和跟踪目标对象 。

🚀 怎么使用？

用户可以通过以下方式使用 TrackVLA：

1. 集成部署：将 TrackVLA 模型集成到机器人或智能设备中，实现自主导航和目标跟踪功能。

2. 开发平台：利用官方提供的开发工具和文档，进行二次开发和定制化应用。

3. 模拟训练：在仿真环境中对模型进行训练和测试，优化其在特定场景下的表现。

✨ 主要功能

• 自然语言理解：理解用户的语言指令，实现语音控制。

• 视觉目标识别：在复杂环境中准确识别并跟踪目标对象。

• 自主导航：无需提前建图，实现自主路径规划和避障。

• 多场景适应：具备零样本泛化能力，适应多种复杂环境。

• 高效推理：在真实世界中以 10 FPS 的速度进行推理，保持高性能和稳定性 。

⚙️ 技术原理

TrackVLA 基于 Vision-Language-Action（VLA）架构，结合了以下技术：

• 共享 LLM 主干网络：用于目标识别的语言建模头和用于轨迹规划的基于锚点的扩散模型。

• EVT-Bench 数据集：构建了一个包含 170 万样本的具身视觉跟踪基准数据集，用于训练模型的识别和规划能力 。

• 仿真训练：利用 Habitat 3.0 模拟器进行训练，增强模型在动态环境中的适应性 。

🛠 应用场景

🔗 项目地址

• 项目主页： https://pku-epic.github.io/TrackVLA-web

• 论文链接： https://arxiv.org/abs/2505.23189

❓ 常见问题（FAQ）

1. TrackVLA 是否开源？
目前，TrackVLA 的代码和模型尚未完全开源，但官方提供了项目主页和论文，供研究和参考。

2. 如何获取 TrackVLA 模型？
您可以通过项目主页获取相关资源，并根据文档进行部署和使用。

3. 是否支持多语言指令？
目前，TrackVLA 主要支持中文指令，未来可能扩展到多语言支持。

4. 模型的硬件要求是什么？
TrackVLA 需要具备一定计算能力的硬件平台，具体要求请参考官方文档。

5. 是否支持自定义训练？
是的，您可以根据自己的需求，利用官方提供的工具和数据集，对模型进行自定义训练和优化。