当前浏览中
频道AI 大模型
浏览量199
▸ AI 大模型 · 应用工具

SongGeneration 应用工具

SongGeneration 是腾讯AILab开发的开源歌曲生成模型,基于 LeVo 架构与音乐编码器,可从歌词、风格描述与参考音频中并行生成和谐的“人声+伴奏”歌曲,支持中文与英文,适合 AI 工具使用者快速落地音乐创作。

可用性
入口可访问
已记录官网或下载入口
信息核实
已验证
3 条来源,含 NavXD 收录
类型
网页工具
Web · en
GitHub收藏 0
收录 2025年6月21日更新 2025年6月21日浏览 199

// 01 SongGeneration 是什么

SongGeneration 界面截图
SongGeneration · 界面预览

在 AI 音乐生成领域,SongGeneration是腾讯AILab 推出的一款高质量开源模型,它采用创新的 LeVo 架构与音乐编码器,支持歌词输入、风格提示与参考音频生成完整歌曲(包括人声与伴奏),并以其开源和多语言支持赢得了开发者关注。


什么是 SongGeneration?

SongGeneration(又名 LeVo) 是一个基于语言模型与音乐编解码器的歌曲生成系统,由腾讯AILab 发布在 GitHub 和 Hugging Face 上。它可通过混合或双轨 token 表示,生成高保真歌曲音频,实现“人声 + 伴奏”同步输出,是目前领先的开源文本生成音乐方案之一。


核心技术架构解析

LeVo 架构:混合 + 双轨 token

LeVo 模型同时生成mixed tokens(混合轨)与dual-track tokens(人声和伴奏分离),确保歌词与伴奏同步与和谐

音乐编码器(Music Codec)

使用 MuCodec 编解码音频:先将双轨 token 编码,再通过解码生成高品质音频,保证输出“可听化”效果 

多首偏好对齐训练

采用 DPO(动态偏好优化)训练,通过预训练和微调融合多种偏好提升生成质量,使生成歌曲更自然、更契合歌词


支持输入方式和生成方式

  • 歌词输入:用户可以输入中文或英文歌词,模型会以此为基础生成音乐。

  • 文本描述(可选):可提供风格、情绪、节奏等提示以指导生成 

  • 参考音频提示(可选):输入样本音频片段,生成符合该风格的人声与伴奏。

模型提供 base(歌词驱动)版本,并计划推出支持中英文双语与扩展全模型版本 


如何获取与使用 SongGeneration

1.教库克隆与依赖安装。

git clone https://github.com/tencent-ailab/SongGeneration pip install -r requirements.txt

2.下载并保存 Hugging Face ckpt 文件(比如 SongGeneration-base v20250520)。

3.执行生成脚本:

sh generate.sh ckpt_path lyrics.jsonl output_path

或使用适合低显存设备的 generate_lowmem.sh。
4.JSONL 输入示例包含 idx, gt_lyric, 可选 descriptions, prompt_audio_path 提示 。

应用场景与潜在价值

  • 音乐创作者与作曲人:快速生成 demo 歌曲,为创作提供灵感助力。

  • 短内容创作者:为视频、广告生成定制配乐或歌曲。

  • AI 音乐研究与教育:模型架构与公开代码有助于研究人员入门与扩展学习。

  • 唱片创作实验:结合人声与伴奏分离能力,可用于音频编辑与风格对比研究。


// 02 核心 功能

  • 核心定位SongGeneration 是腾讯AILab开发的开源歌曲生成模型,基于 LeVo 架构与音乐编码器,可从歌词、风格描述与参考音频中并行生成和谐的“人声+伴奏”歌曲,支持中文与英文,适合 AI 工具使用者快速落地音乐创作。
  • 分类索引当前归档在 AI 大模型 / 对话,方便和同频工具横向比较。
  • 能力标签关联标签包括 price-open-source、tech-speech、多语言支持、AI音乐生成。
  • 使用入口已记录可访问入口,可通过本页主按钮跳转。

// 03 使用 场景

  • 快速判断是否适合当前任务结合 AI 大模型 / 对话 定位和 price-open-source、tech-speech、多语言支持 标签,先判断它是否匹配你的工作流。
  • 横向比较同类工具从相同分类和标签继续探索替代工具,减少只看单个产品带来的选择偏差。
  • 沉淀工具选型资料把官网入口、平台、版本和 NavXD 标签合并成一页,适合做选型记录或团队分享。

// 04 常见 问题

SongGeneration 是什么?
SongGeneration 是腾讯AILab开发的开源歌曲生成模型,基于 LeVo 架构与音乐编码器,可从歌词、风格描述与参考音频中并行生成和谐的“人声+伴奏”歌曲,支持中文与英文,适合 AI 工具使用者快速落地音乐创作。
SongGeneration 适合哪些场景?
可优先参考它所属的 AI 大模型 / 对话 分类,以及 price-open-source、tech-speech、多语言支持、AI音乐生成 等标签。
SongGeneration 是否提供可用入口?
本页已记录官网或下载入口,可通过顶部主按钮访问。
SongGeneration 支持哪些平台?
当前记录为网页工具,通常可通过浏览器访问。

// 05 资料 来源

同频段 更多信号

查看 AI 大模型 全部