LeVo翻译站点

什么是 LeVo？

LeVo 是由清华深圳国际研究生院与腾讯 AI Lab 等联合研发的高质量歌词到歌曲（lyrics-to-song）生成框架，首次实现了并行生成“混合音轨”和“声乐+伴奏双轨音项”。借助 Direct Preference Optimization（DPO）的多偏好对齐机制，LeVo 在客观与主观指标上超越现有 SOTA 模型，并提供在线 demo 音频和源代码演示地址：levo-demo.github.io。

LeVo 的核心设计与技术实现

并行混合与双轨音频建模

LeVo 架构由 LeLM（歌词语言模型）和 Music Codec（音频编解码器）组成。LeLM 同时建模“混合音轨”与“声乐+伴奏双轨音项”，确保声乐与伴奏之间的和谐性和清晰度。

混合音轨（Mixed Tokens）

混合音轨统一建模声乐与伴奏，从整体音乐角度生成，适合整体节奏和结构把控。

双轨生成（Dual‑Track Tokens）

对声乐和伴奏分别编码解码，提升生成音质与音频清晰度，降低音轨干扰。

模块化训练架构

LeVo 使用三阶段训练策略：

1. 预训练（Pre‑training）：学习整体音频结构与歌词匹配；

2. 模块扩展训练（Modular Extension）：保留预训练基础之上，多阶段优化音质；

3. DPO 多偏好对齐：引入人类偏好，通过 DPO 强化音乐指令遵从和主观听感。

多偏好对齐策略（Multi‑Preference Alignment）

通过 DPO 学习人类“指令遵从”、“音乐质感”、“风格偏好”等多项偏好，在客观指标（如声纹相似度FAD、MuQ）与主观音乐评测上均刷新 SOTA 水平。

LeVo 的性能亮点与评测结果

客观性能指标提升

在 FAD、MuQ-A、MuQ-T、Meta Audiobox 等客观指标中，LeVo 优于 Jukebox、SongCreator、YuE 等baseline模型。

主观听感更一致

主观实验通过盲测方式展示 LeVo 更强的歌词表达一致性、音质优先感和整体听感体验；主观偏好的提升说明了 DPO 多偏好调优的显著价值。

持续评估与消融实验

消融研究证明模块扩展训练和多偏好对齐对生成质量至关重要，移除其中任一阶段都会导致生成效果下降。

LeVo 的应用场景与落地意义

音乐创作与作曲辅助

LeVo 可自动从歌词生成样曲，为音乐人提供创作灵感与voice demo，应用于个人专辑、独立唱作人创作流程。

多语种歌词到歌曲

框架支持英文歌词生成原创歌曲，规划后续扩展多语种支持，适合跨地域发行与多语言音乐市场。

生成音频资源与生产工具

可嵌入 Web 音乐生成平台、Studio 工具（如 DAW）或语音直播助手，满足内容创作生态建设。

教学与科研应用

作为研究平台，LeVo 提供开放 demo，可用于 Music Information Retrieval、AI 音频教学研究与生成模型探索。

如何试用 LeVo？

在线 Demo 页面

访问 LeVo 官方演示音频页面：levo-demo.github.io，支持歌词生成样曲下载试听。

查看论文与代码

GitHub 仓库链接已附于 arXiv 与 demo 概述页面中，可查阅源码与模型文档。

运行自己的歌词到音乐流程

后续发布 API 或开源模型版本后，将支持自行在本地或云端运行、fine-tune、集成至创作 pipeline。

LeVo 与其他音乐生成系统对比

LeVo 是目前首个能提供“歌词→合唱+伴奏双轨并行+多偏好调优”的高保真音乐生成模型，具备商业级潜力。

常见问题（FAQ）

Q1：LeVo 是免费使用的吗？
论文和 demo 为研究共享，不保证开源及商用许可，需等待团队后续声明。

Q2：LeVo 支持哪些音频格式？
提供 WAV 格式 demo，后续可能支持 MP3 或音频编解码 API 输出。

Q3：是否支持多语种歌词？
目前以英文为主，团队正评估扩展多语种支持。

Q4：能否自定义风格或编曲？
支持偏好对齐，可期待未来 fine-tune 接口增强定制能力。

Q5：如何集成至作品流程？
可使用 demo 输出样稿导入 DAW，或结合语音合成平台做作曲样本参考。

Q6：有什么部署指南或 API？
后续团队或许可提供 Docker 镜像、HuggingFace 模型版本或 REST API。

LeVo 的未来发展与趋势展望

1. 多语种扩展：增加覆盖多语文化内容；

2. 实时在线生成：即时歌词导歌体验；

3. 商业授权输出：法院授权商业生成音乐；

4. 协同创作平台接入：结合智能 DAW、音频工作站接口；

5. 偏好调优市场化：用户可自定义偏好与风格输出。

总结

LeVo 是由清华与腾讯 AI Lab 联手打造的高质量“歌词到歌曲”生成框架，其独有的混合+双轨并行建模和 DPO 多偏好调优技术，树立了 AI 音频生成的新标杆。它不仅能自动生成高音质音乐，还可精准表达歌词语义，对创作者、研究者和 AI 工具使用者具深远意义。

访问 LeVo demo 页面试听成果，关注其研究文章和未来发布，让 AI 驱动音乐创作进入新时代。