引言
长期以来，音乐制作一直由专业工具和专业知识主导，为寻求专业音质的业余创作者制造了障碍。SonicMaster 引入了一种统一的音乐修复和母带处理方法，通过一个生成式 AI 模型，该模型可以使用自然语言控制同时解决多种音频退化问题。该系统与传统工作流程截然不同，传统工作流程针对每个音频问题需要单独的工具，而 SonicMaster 提供了一个集成解决方案，可以通过简单的文本提示进行去混响、均衡、去削波、增强动态和改善立体声声像。
图 1：SonicMaster 架构结合了多模态处理和流匹配训练。该系统以退化音频（通过 VAE 编码）和文本提示（由 FLAN-T5 处理）作为输入，使用多模态 DiT 和 DiT 模块预测速度场，将退化音频转换为专业母带处理后的输出。
这项研究解决了音频处理中的一个根本性空白：尽管针对削波或混响等特定问题存在单独的解决方案，但还没有哪个系统成功地将这些功能统一到基于文本的控制之下。通过在一个包含 175,000 对音频及其相应自然语言指令的定制数据集上进行训练，SonicMaster 证明了复杂的音频转换可以联合学习而不是按顺序应用。
数据集构建与方法
SonicMaster 的基础在于其全面的数据集创建过程，该过程解决了研究社区中缺乏文本条件音乐修复数据的问题。作者从 Jamendo 的 580,000 条知识共享许可录音开始，使用 Audiobox Aesthetics 工具箱进行严格的质量筛选，从中选取了 25,000 个高质量的 30 秒片段，涵盖 10 个流派类别。
退化模拟过程系统地使用 19 种不同的效果对每个干净的音频片段进行损坏，这些效果分为五类：
均衡退化包括亮度/暗度不平衡、空气感问题、轰鸣感问题、浑浊感、人声清晰度问题和麦克风音色效应。这些通过参数均衡器频段和来自 Poliphone 数据库的真实世界麦克风传递函数实现。
动态处理通过前馈压缩器和瞬态整形器施加压缩和冲击力衰减，故意使这些转换产生损失，以模拟真实世界的录音限制。
混响效果使用通过 Pyroomacoustics 生成的合成房间脉冲响应和来自 openAIR 库的真实世界录音，创建小型房间、大型房间和混合声学环境。
幅度退化包括硬削波（超过最大幅度）和严重音量降低，这会损害信噪比。
立体声处理通过组合左右声道来减小空间宽度，仅适用于适当宽度的立体声内容。
25,000 个干净片段中的每一个都生成了七个退化变体：四个单效果版本、两个双效果组合和一个三效果样本。这种组合方法确保在多退化场景中每个类别最多只有一个效果，从而防止冗余组合，同时最大限度地提高多样性。这种系统方法产生了 175,000 个配对示例及其相应的自然语言描述。
架构设计与训练
SonicMaster 采用流匹配生成框架，直接在潜在空间中学习从退化音频到干净音频的转换。该架构结合了几个关键组件：
音频处理从Stable Audio Open VAE开始，它将44.1 kHz的立体声波形编码成紧凑的时频谱表示。这种潜在编码实现了高效处理，同时保持了高保真重建能力。
文本条件利用一个冻结的FLAN-T5 Large编码器来处理自然语言指令，为修复过程提供语义控制。文本嵌入直接影响多模态处理以及整个网络中的自适应归一化层。
核心生成模型由多模态DiT (MM-DiT) 块和随后的标准DiT层组成。MM-DiT块处理音频和文本模态的融合，而随后的DiT层则优化多模态表示以预测速度场。
训练过程遵循整流流范式，其中模型学习预测速度场 vt=x0−x1v_t = x_0 - x_1vt=x0−x1，将退化的音频表示 (x1x_1x1) 引向干净的目标 (x0x_0x0)。在训练期间，插值样本生成如下：
xt=t⋅x1+(1−t)⋅x0x_t = t \cdot x_1 + (1 - t) \cdot x_0xt=t⋅x1+(1−t)⋅x0
其中 ttt 从偏斜分布 p(t)=0.5U(t)+0.5tp(t) = 0.5U(t) + 0.5tp(t)=0.5U(t)+0.5t 中采样，该分布强调更多退化的输入。模型 fθf_\thetafθ 经过训练以最小化L2损失：
L=∥fθ(xt,t,ctext)−vt∥22\mathcal{L} = \|f_\theta(x_t, t, c_{text}) - v_t\|_2^2L=∥fθ(xt,t,ctext)−vt∥22
无分类器指导通过在训练期间随机丢弃文本提示（10%的样本）或用通用短语替换它们（10%的样本）来实现可控生成。一个可选的池化音频分支通过将时间平均的干净提示与提示嵌入连接起来，为处理长格式音频提供时间上下文。
实验结果和性能
SonicMaster的有效性通过全面的客观指标和主观听力测试进行了评估。客观评估衡量了多种模型变体的全局感知保真度和特定于退化的改进。
全局质量指标显示所有指标均有显著改善。生产质量分数从7.026（退化）提高到7.705（SonicMaster Large），接近7.886的真实参考值。KL散度从5.131急剧下降到0.888，表明与干净目标的分布对齐程度更高。虽然SSIM分数略低于退化输入，但这反映了模型对结构进行修改以修复伪影，而不是保留退化特征。
特定于退化的性能展示了SonicMaster有效解决各种音频问题的能力。对于均衡任务，所有10个音调属性的平均绝对误差都大幅减少。对于大型模型，X波段均衡误差从0.1782降至0.0358，而麦克风染色误差从0.0945降至0.0401。混响校正显示出显著改进，“真实”混响误差从0.4639减少到0.3109。削波校正作为最具挑战性的任务之一，误差从5.122减少到1.506。
主观评估涉及8名听众对43对音频进行文本相关性、质量改进、一致性和整体偏好评级。结果强烈倾向于SonicMaster的输出，在文本相关性方面，幅度（平均6.19/7）和混响（平均5.59/7）类别获得了最高评分。使用配对t检验证实了混响、幅度、立体声和混合退化的统计显著性。
消融研究揭示了文本条件的关键重要性，当移除文本提示时性能会下降。不同音频条件长度（5秒、15秒对比10秒默认值）显示出可比的性能，证明了其鲁棒性。龙格-库塔求解器在某些指标上优于欧拉积分，但计算成本更高。
技术贡献与创新
SonicMaster 引入了几项关键技术创新，使其区别于现有方法。统一的生成式框架首次成功地将多种修复任务整合到单一模型中，超越了传统工作流程中专业工具的顺序应用。
流匹配训练范式被证明特别适合音频转换任务。与学习将噪声分布映射到目标输出的扩散模型不同，流匹配直接预测转换速度，为修复任务中所需的复杂音频到音频映射提供了更直接的学习路径。
多模态架构有效地解决了根据自然语言指令调节音频转换的挑战。FLAN-T5 文本嵌入与 MM-DiT 块的集成，实现了对修复行为的精确控制，允许用户指定有针对性的修正或依赖自动增强模式。
数据集构建方法为训练可控音频增强模型建立了新标准。系统性的降级模拟，结合专家编写的自然语言描述，为未来文本引导的音频处理研究创建了全面的资源。
局限性与未来方向
尽管 SonicMaster 展示了令人印象深刻的能力，但仍存在一些局限性，指明了未来的研究机会。VAE 编码虽然实现了高效处理，但引入了一些信息损失，偶尔会在重建的音频中表现为细微的伪影。未来的工作可以探索损失更小的潜在表示或端到端波形处理方法。
完整歌曲处理虽然通过基于片段的推理可以实现功能，但与单片段结果相比，性能有所下降。带有线性插值的重叠片段方法提供了合理的连续性，但可以通过更复杂的边界处理技术来改进。
评估指标虽然全面，但可以扩展以更好地捕捉音频质量的感知方面，这些方面可能未在当前客观测量中体现。开发专门为生成式音频增强设计的评估框架仍然是一个重要的研究方向。
意义与影响
SonicMaster 代表了音乐制作可访问性和工作流程效率的范式转变。通过将多个修复任务整合到一个单一的、文本可控的系统中，它极大地降低了高质量音频制作的门槛。业余音乐家、播客和内容创作者现在无需广泛的专业技术知识或昂贵的专业工具，即可获得专业级的成果。
这项研究对更广泛的音频生成式人工智能领域做出了重大贡献。统一、可控修复的成功演示为智能音频处理系统开辟了新的可能性。数据集、代码和训练模型的开源发布为研究社区提供了宝贵的资源，并加速了该领域的未来创新。
除了在音乐制作方面的直接应用，SonicMaster 的方法还对其他音频领域具有影响，包括语音增强、播客制作和档案音频修复。统一的文本引导音频转换原则可以扩展到创意应用，例如风格转换或针对不同播放环境的自适应母带制作。
这项工作还增进了我们对生成模型如何学习复杂多模态转换的理解。在流匹配框架内成功整合音频和文本处理，为其他需要精确、可控生成任务的领域提供了适用的见解。
