AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
在嘈杂的环境中，人类能够专注于特定的语音信号，这种现象被称为「鸡尾酒会效应」。对于机器来说，如何从混合的音频信号中准确分离出不同的声源是一个重要的挑战。
语音分离（Speech Separation）能够有效提高语音识别的准确性，通常作为识别的前置步骤。因此，语音分离模型不仅需要在真实音频上输出分离良好的结果，同时还要满足低延迟的需求。
近年来，深度学习在语音分离任务中的应用受到了广泛关注。尽管许多高性能的语音分离方法被提出，但仍有两个关键问题未能得到充分解决：一是许多模型计算复杂度太高，未充分考虑实际应用场景的需求；二是常用的语音分离数据集与真实场景存在较大差距，导致模型在真实数据上的泛化能力不足。
为了解决这些问题，清华大学的研究团队设计了一种名为 TIGER（Time-frequency Interleaved Gain Extraction and Reconstruction network）的轻量级语音分离模型，并提出了一个新的数据集 EchoSet，旨在更真实地模拟复杂声学环境中的语音分离任务。
实验结果表明，TIGER 在压缩 94.3% 参数量和 95.3% 计算量的同时，性能与当前最先进的模型 TF-GridNet [1] 相当。
论文标题：TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation
论文链接：https://arxiv.org/pdf/2410.01469
项目主页：https://cslikai.cn/TIGER
GitHub 链接：https://github.com/JusperLee/TIGER
数据链接：https://huggingface.co/datasets/JusperLee/EchoSet
方法
语音分离任务的核心是从混合的音频信号中恢复出每个说话者的清晰语音。传统的语音分离模型通常直接在时域或频域进行处理，但往往忽略了时间和频率维度之间的交互信息。为了更高效地提取语音特征，TIGER 模型采用了时频交叉建模的策略，结合频带切分和多尺度注意力机制，显著提升了分离效果。
TIGER 模型的整体流程可以分为五个主要部分：编码器、频带切分模块、分离器、频带恢复模块和解码器。首先，通过短时傅里叶变换（STFT）将混合音频信号转换为时频表示。接着，将整个频带划分为多个子带，每个子带通过一维卷积转换为统一的特征维度。分离器由多个时频交叉建模模块（FFI）组成，用于提取每个说话者的声学特征。最后，频带恢复模块将子带恢复到全频带范围，并通过逆短时傅里叶变换（iSTFT）生成每个说话者的清晰语音信号。
TIGER 整体流程
频带切分
语音信号的能量分布在不同频带上并不均匀，中低频带通常包含更多的语音信息，而高频带则包含更多的噪声和细节信息。为了减少计算量并提升模型对关键频带的关注，TIGER 采用了频带切分策略，根据重要性将频带划分为不同宽度的子带。这种策略不仅减少了计算量，还能让模型更专注于重要的频带，从而提升分离效果。
分离器
语音信号的时间和频率维度之间存在复杂的交互关系。为了更高效地建模这种交互关系，TIGER 引入了时频交叉建模模块（FFI）。为了减少参数，分离器由多个共享参数的 FFI 模块构成。每个 FFI 模块包含两个路径：频率路径和帧路径。
每个路径都包含两个关键子模块：多尺度选择性注意力模块（MSA）和全频 / 帧注意力模块（FA）。通过交替处理时间和频率信息，FFI 模块能够有效地整合时频特征，提升语音分离的效果。
FFI 模块内部细节
多尺度选择性注意力模块（MSA）
为了增强模型对多尺度特征的提取能力，TIGER 引入了 MSA，通过多尺度卷积层和选择性注意力机制，融合局部和全局信息。MSA 模块分为三个阶段：编码、融合和解码。
以频率路径为例，在编码阶段，通过多个一维卷积层逐步下采样频率维度，提取多尺度的声学特征。在融合阶段，使用选择性注意力机制将局部特征和全局特征进行融合，生成包含多尺度信息的特征。在解码阶段，通过上采样和卷积操作逐步恢复频率维度，最终输出增强后的频率特征。
MSA 模块内部细节（以频率路径为例）
全频 / 帧注意力模块（FA）
为了捕捉长距离依赖关系，TIGER 采用了全 / 频帧注意力模块（FA）。同样以频率路径为例，首先采用二维卷积将输入特征转换为查询（Query）、键（Key）和值（Value），然后将特征维度和时间维度合并，得到每个频带对应的全帧信息。
通过自注意机制计算频率维度上的注意力权重，用于加强频带间关系的捕捉，提升语音分离的效果。
FA 模块内部细节（以频率路径为例）
EchoSet：更接近真实声学场景
的语音分离数据集
