SAM Audio翻译站点

什么是 SAM Audio

SAM Audio（Segment Anything Model for Audio）是由 Meta AI 发布的一款先进 多模态音频分离模型。它属于 Meta “Segment Anything” 系列，将此前在图像与视频分割领域的技术扩展到了音频处理，目的是使音频分离任务变得更加直观、精准、高效。SAM Audio 能够从复杂的音频或视频声轨中分离出用户指定的目标声音，如人声、吉他、环境音等，同时保留其他音频成分。 SAM-Audio+1

SAM Audio 现已在 Meta 的 Segment Anything Playground 提供在线体验，同时配套 GitHub 开源模型代码和评估基准，让开发者和内容创作者能够灵活集成和试用。 Gadgets 360

SAM Audio 的核心技术与工作原理

多模态提示交互

SAM Audio 的一大创新是支持 三种直观的提示方式，可以单独使用或组合使用：

• 文本提示（Text Prompts）：
  用户可输入自然语言描述（如 “吉他独奏”、“狗吠声”）来指定要分离的声音。 MEXC

• 视觉提示（Visual Prompts）：
  在视频中点击发声对象（如弹吉他的手、人物嘴部），模型将根据视觉信息定位并分离出对应音频。 SAM-Audio

• 时间跨度提示（Span/Time Prompts）：
  用户标注目标声音出现的时间区间（如 00:35–00:40），模型据此在整个音频中进行声音提取。 MEXC

这些直觉式提示不仅适合专业音频工程师，也使普通用户无需专业软件即可进行精确的音频分离。 TV9 English

核心架构：PE-AV 与扩散分离机制

SAM Audio 的核心技术引擎是 Meta 自研的 Perception Encoder Audiovisual（PE-AV），它被 Meta 称为模型的“耳朵”。PE-AV 将音频、视觉与提示编码到一个统一的多模态表示空间，使模型能够理解复杂的音频结构并执行精确分离。 新浪财经

在底层，SAM Audio 采用 扩散 Transformer（diffusion transformer） 构建分离网络，通过迭代优化生成目标音频（isolated target）和剩余音频（residual）输出。这意味着用户得到两个流：

• target：被提取出的目标声音

• residual：原音频中除目标外的所有内容 MarkTechPost

这种设计使 SAM Audio 能在音频编辑、降噪和分离任务中灵活控制输出结果。

SAM Audio 的核心功能与能力

1. 音频分离与声源提取

SAM Audio 可以从复杂的混合音频中分离出特定声音，例如：

• 提取音乐轨道中的吉他、鼓、贝斯等单独声部

• 从现场录音中提取清晰人声

• 过滤掉噪音或不需要的背景音 SAM Audio

这种能力对音乐创作者、音频工程师和后制专业人员尤为重要。

2. 噪声移除与语音增强

对于广播、播客或访谈录音，SAM Audio 能：

• 从混合录音中去除交通噪声、风声等背景干扰

• 提高主要语音清晰度

• 分离多说话者的声音层，便于后续处理和分析 SAM Audio

这简化了过去需要多种工具和繁琐步骤的清理工作。

3. 视频与音频联动分离

如果输入文件包含视频轨道（如 MP4），SAM Audio 可以结合视觉提示，在视频帧中点击发声对象来辅助音频分离，提升精度。这种能力在电影后期制作、视频内容编辑中尤为有用。 SAM Audio

4. 实验与开发平台支持

Meta 提供 SAM Audio 在 Segment Anything Playground 上的交互体验平台，无需安装即可测试音频分离效果。此外，开源模型可在本地或云端部署，并可结合其他音频处理工作流和工具链。 Gadgets 360

SAM Audio 的典型应用场景

音乐制作与混音

音乐人、混音师和制作人可以轻松：

• 从已有音轨中抽取独立乐器层

• 提取干净的人声便于重混

• 快速获得原始声部进行创作和编辑 SAM Audio

这种“prompt 驱动”模式降低了传统音频工程的门槛。

播客与视频后期处理

播客主持人和视频创作者可借助 SAM Audio：

• 移除背景噪声

• 分离不同说话者的音轨

• 为插入 BGM 或声效创造更干净的基础音频

• 处理电影或纪录片中的复杂音频环节 TV9 English

这让内容创作更加流畅、高效。

声学研究与可访问性

在科研和辅助技术领域，SAM Audio 的分离能力也有重要作用：

• 声学研究中提取和分析特定音频事件

• 为听力受限用户改善清晰度，结合辅助设备进行实时处理 SAM Audio

其多模态特点也有助于为机器听觉与声音理解研究提供标注工具和分离数据。

如何使用 SAM Audio

在线体验平台

用户可以访问 Meta 的 Segment Anything Playground 页面并上传音频或视频文件，然后使用文本输入、视觉点击或时间区间标记来启动分离任务，无需本地安装。 Gadgets 360

本地 / API 部署

对于开发者和进阶用户，SAM Audio 源代码与模型权重可从官方 GitHub 或 Hugging Face 获取，并可结合自定义界面或 API 服务集成到现有工作流中（GPU 资源推荐）。 Gadgets 360

SAM Audio 的优势与限制

优势

• 统一多模态交互： 文字、视觉与时间提示灵活组合。 MEXC

• 开放与扩展性： 可用于研究和商业项目。 Gadgets 360

• 覆盖广泛音频场景： 支持语音、音乐、环境音等多类分离任务。 SAM Audio

• 专业级输出质量： 针对真实世界音频混合表现优异。 MarkTechPost

限制

• 在极度相似声源（如合唱）中区分个体可能不够精确。 SAM-Audio

• 若没有视觉信息，某些声音分离仍依赖部分提示策略。 SAM Audio

• 对于复杂案件，细致 prompt 设计仍有必要。 MarkTechPost

常见问题（FAQ）

Q1: 什么是 SAM Audio？
A1: SAM Audio 是 Meta 推出的统一多模态音频分离模型，支持通过文本、视觉或时间提示从复杂音频或视频中分离出目标声音。 新浪财经

Q2: 它支持哪些输入格式？
A2: SAM Audio 支持常见音频和视频格式，如 WAV、MP3、MP4、MOV 等。 SAM-Audio

Q3: 如何提示才能更精确分离？
A3: 明确的文本描述（例如“吉他独奏”）或视觉点击（视频中对应对象）能够让模型更准确地定位目标声音。 TV9 English

Q4: 是否免费尝试？
A4: 是的，用户可在 Meta 的在线平台（Segment Anything Playground）免费体验 SAM Audio。 Gadgets 360

Q5: 是否适合商业用途？
A5: SAM Audio 在开放许可下发布，但商业部署仍需遵循官方许可条款。 Gadgets 360

Q6: 是否可以自动化批处理？
A6: 开发者可利用模型集成到自动化脚本和工具链，实现批量音频分离任务。 Gadgets 360

结语

SAM Audio 标志着 AI 音频分离技术的一个重要里程碑，它以简洁自然的交互方式、强大的多模态表示能力和开放性为 AI 工具使用者提供了专业级音频处理能力。无论是音乐创作、视频后期还是辅助技术，该模型都显著提升了音频分离 workflows 的效率与体验。 SAM-Audio