无监督语音表示任务的关键在于如何有效利用无标注语音数据得到包含其主要信息的高层表示.针对这一问题, 基于重建损失的语音表示学习方法认为一个好的语音表示应可较好重建原始的语音信号.因此, 利用自编码器的思想, 通过一个编码器得到语音表示, 通过一个解码器根据语音表示重构原始语音信号, 进而通过最小化重构信号和原始信号之间的误差(称为重构误差)优化语音表示模型.在重建任务训练过程中, 现有方法未利用语音的音素类别信息.

而在基于噪声学生训练的半监督语音识别中, 使用另一种有效的无标注数据利用方法, 即将无标注数据对应的标注视为隐藏变量, 通过一个类似于EM算法(Expectation-Maximization Algorithm)的迭代过程优化声学模型的参数, 具体做法如下.

1)使用标注数据训练一个初始模型, 作为教师模型.

2)通过教师模型对无标注的数据进行识别, 将识别结果视为伪标注(类似于EM算法中的E步).

3)对于无标注数据, 将伪标注视为正确标签, 结合标注数据, 通过最小化标签预测任务的交叉熵损失函数更新模型参数, 得到学生模型(类似于EM算法中的M步).

4)将新的学生模型作为教师模型, 重复1)、2), 得到不断精确的伪标注(类别信息)和识别模型.

在上述过程中, 基于一致性准则, 通过对输入信号添加随机噪声扰动以提高学生模型的鲁棒性.

受到上述噪声学生训练方法的启发, 为了在无监督表示学习过程中充分利用语音帧自身隐含的类别信息, 本文结合语音重建任务和伪标签预测任务, 提出聚类-重训练框架.基本思想是:基于现有表示模型(教师模型), 利用无监督聚类得到隐含的语音帧类别信息, 进而基于该类别信息构造标签预测任务, 结合已有的基于重建损失的表示学习任务, 重训语音表示模型(学生模型).将上述过程不断迭代以得到最优表示模型.下面将利用EM算法框架从理论上证明方法的有效性.

令x为某一帧语音信号, y为其音素类别标签, 对于无标注语音数据, x为观测变量, y为隐藏变量, 采用EM算法估计语音表示模型的参数θ .根据EM算法原理, 在第k次迭代中E步在给定当前模型的参数θ ^(k-1)的条件下, 估计隐藏变量的最大后验概率, 即计算

q(y|x; θ ^(k-1))=p(y|x; θ ^(k-1)).

在M步最大化观测变量与隐藏变量联合概率的对数期望值, 即优化目标函数

最大化上述目标函数相当于最小化

其中后验概率p(y|x; θ )表示对应音素分类任务的输出.将q(y|x; θ ^(k-1))视为类别软标签, 式(1)右侧第1项相当于音素分类预测问题的交叉熵损失函数.在本文的聚类-重训练框架中, 将当前模型(参数为θ ^(k-1))视为教师模型, 利用教师模型的输出和聚类算法得到概率分布q(y|x; θ ^(k-1))的近似值, 即

q(y=i|x; θ ^(k-1))= 1, Enc(x)=Ci0, Enc(x)≠Ci

其中, Enc(x)表示语音信号x对应的编码表示, C_i表示聚类结果中的第i个类别.上述近似值本质上就是将聚类结果作为硬标签的独热编码.

利用自编码器对语音信号的概率分布p(x; θ )进行建模.令Enc为编码器网络, Dec为解码器网络, 假设给定编码表示Enc(x)的条件下, x服从均值为Dec(Enc(x))、方差为σ ²I的高斯分布, 则式(1)右侧第2项可写为

其中, N表示高斯分布, α 表示与方差σ ²I相关的常数.

式(2)对应L2重构损失函数.将上述高斯分布替换为拉普拉斯分布, 即得到L1重构损失函数.

综上所述, 最小化目标函数式(1)的第1项对应标签预测任务的交叉熵损失函数, 第2项对应重构任务的重构损失函数, 结合二者求解学生模型的参数θ , 本质上是在给定当前教师模型参数θ ^(k-1)的条件下执行EM算法中的M步, 对模型参数进行更新, 得到新的参数θ =θ ^(k).这也就从理论上证明本文方法的有效性.

上述聚类-重训练框架的基本流程如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 聚类-重训练框架流程图Fig.1 Flow chart of clustering-retraining framework

对于无标注数据集

D_pre={x₁, x₂, …, x_n},

其中x_i表示第i条语音数据, 由m_i帧组成, 将其第j帧记为x_{i, j}, 则

x_i=[x_{i, 1}, x_{i, 2}, …, xi, mi].

首先训练得到预训练模型M₀后, 以预训练模型M₀作为教师模型M_t, 执行如下步骤.

1)利用教师模型, 提取数据D_pre中各语音帧对应的语音表示, 使用K-means算法对语音表示进行聚类.

2)使用聚类分配的类别标签构造伪标签集合

Y={y₁, y₂, …, y_n},

其中y_i表示第i条语音数据对应的伪标签序列, 将其中第j帧的伪标签记为y_{i, j}, 则

y_i=[y_{i, 1}, y_{i, 2}, …, yi, mi].

3)使用无标注数据和伪标签构造新的数据集D_ret, D_ret中每条语音信号的标签由其语音帧对应的伪标签序列组成, 记为

D_ret={(x₁, y₁), (x₂, y₂), …, (x_n, y_n)}.

4)在数据集D_ret上, 结合伪标签预测任务和已有自监督学习中的重建任务(如CPC、APC等)重新训练学生模型M_s.

5)将学生模型M_s作为新的教师模型, 重复1)~4)进行迭代训练.

基于聚类-重训练框架, 本文针对TERA^[13]进行聚类重训练, 提出自监督聚类重训练的语音表示方法.使用TERA预训练方法得到初始的预训练模型.

TERA对于输入的连续语音帧, 在时间、通道和幅度三个维度上进行掩蔽, 通过最小化原始语音帧的重构损失进行模型训练.在时间维度上, 随机选定15%的语音帧进行掩蔽, 在被掩蔽的语音帧中, 80%的语音帧全部置为0, 10%的语音帧被替换为随机帧, 剩下10%的语音帧保持不变.在通道维度上, 对于整个输入语音序列, 将选中的连续通道块的值随机替换为0.在幅度维度上, 对选定的语音帧添加随机采样的高斯噪声(Sampled Gaussian Noise).

得到初始的教师模型后, 使用聚类-重训练框架, 迭代训练得到学生模型.在学生模型的训练过程中, 对于语音帧类别预测任务和语音重建任务, 均采用TERA中的三维度掩蔽策略对输入的语音进行随机扰动, 增强学生模型的鲁棒性.

本文方法框图如图2所示, 分为预训练、聚类和重训练三阶段.首先在预训练阶段, 对无标注训练集D_pre中的语音数据进行随机掩蔽, 并按照TERA预训练方法得到初始教师模型.在聚类阶段, 使用教师模型对D_pre中的语音数据提取语音表示, 利用K-means聚类模块对其进行聚类并分配伪标签.在重训练阶段, 利用无标注数据集D_pre及其伪标签构建新的伪标注数据集D_ret, 在重训练部分训练得到学生模型.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 本文方法框图Fig.2 Framework of the proposed method

在具体的重训练过程中, 对语音帧使用与预训练部分相同的掩蔽策略, 将学生模型提取的语音表示分别送入一个分类器网络和预测头网络, 分类器网络用于预测输出语音帧的类别标签, 预测头网络用于重建被掩蔽的语音帧.通过最小化类别预测损失与重建损失的加权和更新学生模型, 并将其作为新的教师模型重复进行聚类和重训练过程.

对于语音帧类别标签预测任务, 使用单层线性网络作为分类器, 使用交叉熵损失作为预测标签与聚类得到的伪标签之间的距离度量.对于第i条语音的第j个语音帧, 将分类器输出的音素类别概率记为${{\hat{y}}_{i, j}}$, 则该帧的标签预测损失

将总的伪标签预测损失记为L_label, 则

L_label= ∑i, jL_{i, j}.

对于语音帧重建任务, 与TERA类似, 使用重建语音帧$\hat{x}$与原始语音帧x的频谱间的L1距离衡量语音帧的重建效果, 即

最终聚类重训练的总损失函数:

L_ret=L_spec+λ L_label, (3)

其中, λ 为标签预测损失的权重因子, 实验中设为0.1.

综上所述, 本文提出的自监督聚类重训练的语音表示学习方法具体步骤如下.

算法 自监督聚类重训练的语音表示学习方法

step 1 使用无标注数据集D_pre, 基于TERA预训练方法对语音帧进行掩蔽, 并根据L1损失训练得到初始表示模型M₀, 令教师模型M_t=M₀.

step 2 将数据集D_pre送入M_t, 提取语音信号对应的语音表示.

step 3 将语音表示作为K-means算法的输入, 利用聚类得到伪标签集合Y.

step 4 使用D_pre和Y构建新的训练数据集D_ret.

step 5 使用数据集D_ret, 基于式(3)中的多任务损失函数L_ret对学生模型M_s进行多任务训练.

step 6 令教师模型M_t=M_s, 返回step 2.

上述过程经过若干次迭代后, 将最终的学生模型作为语音表示模型.在工程实践中, 当学生模型在下游任务上的表现随迭代次数增加而保持不变或稳定时, 可认为模型已收敛.

本文实验主要使用公开的LibriSpeech语料库^[20]和TIMIT语料库^[21].为了验证不同数据量下模型的性能, 分别使用LibriSpeech的100 h子集(train-clean-100)和960 h子集(train-clean-100、train-clean-360、train-other-500)对模型进行训练.实验使用mel谱作为预训练模型的输入.

实验中采用TERA作为基础的预训练模型和教师模型, 预训练模型的结构和参数与文献[12]中TERA设置相同.对于本文方法训练的学生模型, 结构和参数与其对应的教师模型保持一致.对于100 h训练数据条件, 将初始模型的预训练和每次聚类后重训练的训练步数均设置为2 000 000.对于960 h训练数据条件, 预训练和重训练的训练步数均设置为10 000 000.模型使用4个2080Ti GPU训练, 训练批次大小为8, 相当于约12 s的语音数据.

在得到教师语音表示模型后, 语音帧类别的聚类过程采用文献[22]中的K-means++算法.该算法选择有更高概率接近最终质心的初始质心, 避免经典的K-means算法中随机初始化的缺陷, 可快速收敛.实验中使用train-clean-100子集进行训练, 迭代次数为15次.

关于聚类类别数K的设置, 本文参考LibriSpeech中的音素个数设置及ZEROSPEECH无监督语音识别挑战赛中声学单元个数设置, 进行对比实验.具体来说, 根据文献[2]的实验设置, 在LibriSpeech数据集的train-clean-100子集上, 经过强制对齐后, 可能的音素个数为41, 其中包含静音音素silence(SIL)和口语噪声音素SPN, SPN包括噪声和集外词.实验中可将其作为先验知识, 并据此设置语音帧的类别数.根据ZEROSPEECH2021中无监督声学单元发现任务的基线系统设计, 当K=50时系统取得最佳性能, 因此本文也测试K=50的结果.

在聚类重训练过程中, 对学生模型进行多次迭代训练, 保留每次迭代训练后的模型, 分别在下游任务中进行实验, 以验证迭代训练的效果.

为了验证语音表示模型的效果, 本文选择音素分类和说话人分类两种下游任务, 分别测试初始表示模型和不同迭代次数后改进的表示模型在下游任务中的识别准确率.两个下游任务的微调与测试均采用S3PRL工具箱进行.

音素分类任务的实验遵循文献[12]的设置, 并使用kaldi工具箱获得音素的强制对齐.实验在LibriSpeech数据集的train-clean-100子集上进行, 并根据文献[12]的实验设置, 将其划分为训练集和测试集.将表示模型得到的语音表示作为输入, 分别对比使用单个线性层的分类器网络和含一个非线性隐藏层的分类器网络的音素分类性能.

说话人识别任务的实验也在train-clean-100子集上进行, 同样参照文献[12]的实验设置, 对数据集进行划分.使用语音表示作为输入, 训练单层线性网络作为分类器, 分别测试模型在帧级别和句子级别的说话人分类准确率.

在上述两个下游任务的微调过程中, 语音表示模型的参数均被冻结, 只训练音素分类和说话人分类任务的分类器网络参数.下游模型的训练步数均设置为5 000 000.

2.3.1 音素分类任务

各模型在音素分类任务上的实验结果如表1所示.表中TERA₀表示采用原始TERA训练得到的初始表示模型, TERA_i表示第i次聚类重训练后得到的改进的表示模型, TERA_i- 41和TERA_i- 50分别表示聚类时的类别数K=41, 50时得到的模型, 黑体数字表示最优值.

由表1可看出, 相比TERA训练得到的初始教师模型(TERA₀), 经过聚类重训练得到的学生模型使音素分类的准确率有明显提升.在100 h训练条件下, 经过一次聚类重训练得到的学生模型TERA₁-41在两种测试任务上的准确率比TERA₀分别提升5.4%和1.7%.随着聚类重训练迭代次数增加, 所得学生模型的准确率进一步提高.在960 h训练条件下, 学生模型的表现与100 h条件下的表现有相同趋势.

在960 h训练条件下, 迭代3次后的结果不如迭代2次后的结果, 出现这一现象的原因可能是在训练数据充足条件下, 参数迭代2次已收敛, 而第3次迭代后出现过拟合.由于本文的初始教师模型采用TERA训练的模型, 可认为在迭代之初模型就已有一个不错的初值, 因此不需要迭代太多次即可接近收敛.

为了验证模型已达到收敛, 本文进一步增加聚类重训练的迭代次数, 并对第4、5次迭代后得到的学生模型进行测试.从实验结果可看到, 模型在多个下游任务中的测试结果基本稳定, 可判断模型已经收敛.

由表1中结果可看出, K=41时学生模型的整体性能优于K=50时.出现这种结果的原因可能是train-clean-100子集上共有41个不同的音素, 因此当聚类过程中K=41时, 模型能更好地适应数据特点.同时还注意到, 在960 h训练数据条件下, 由于数据量更大, 潜在的类别信息更丰富, 因此K=50时模型的准确率与K=41时的准确率相差不大.

由表1还可发现, 当分类器为单层线性网络时, 相比采用单层非线性网络的分类器, 聚类重训练后的模型性能提高更明显, 这一结果表明采用本文方法进行聚类重训练后, 通过音素分类任务的引入, 有效利用隐藏的音素类别信息, 使得到的语音表示更适合于下游的音素分类任务.

表1

Table 1

表1(Table 1)

表1 各模型在音素分类任务上的准确率对比 Table 1 Accuracy comparison of different models for phoneme classification task % 模型 100 h预训练 960 h预训练 单个 线性层 含一个非线性 隐含层 单个 线性层 含一个非线性 隐含层 TERA0 65.1 77.3 69.6 80.2 TERA1-41 70.5 79.0 70.1 79.3 TERA2-41 70.3 79.1 72.3 80.6 TERA3-41 70.7 79.5 72.2 80.6 TERA4-41 69.8 79.2 71.9 80.5 TERA5-41 70.2 79.2 72.0 80.6 TERA1-50 68.4 77.9 71.9 80.5 TERA2-50 69.3 78.6 71.4 80.2 TERA3-50 68.4 78.0 71.7 80.4 TERA4-50 68.3 77.8 71.8 80.4 TERA5-50 68.7 78.4 71.4 80.3

表1 各模型在音素分类任务上的准确率对比 Table 1 Accuracy comparison of different models for phoneme classification task %

为了进一步验证本文方法在音素分类任务上的有效性, 进一步对使用960 h数据训练的第三代学生模型TERA₃-41和TERA₃-50在测试过程中进行微调, 分类器使用单层线性层.在微调过程中, 预训练模型与下游任务的分类器一起调整, 具体结果如表2所示.由表可见, 当仅微调1 000步时, 两个模型的分类准确率已达到83.6%和83.8%.微调5 000步时, 准确率进一步提升到86.8%和86.9%.而微调步数达到10 000步时, 模型性能提升明显减慢, 相比微调5 000步时仅提升约0.6%.

表2

Table 2

表2(Table 2)

表2 2个模型在音素分类任务上微调后的准确率对比 Table 2 Accuracy comparison of 2 models after fine-tuning for phoneme classification task 模型 冻结 参数/% 微调步数 1000 3000 5000 10000 TERA3-41 72.2 83.6% 86.3% 86.8% 87.5% TERA3-50 71.7 83.8% 86.4% 86.9% 87.5%

表2 2个模型在音素分类任务上微调后的准确率对比 Table 2 Accuracy comparison of 2 models after fine-tuning for phoneme classification task

TERA₃-41和TERA₃-50训练前20 000步时, 准确率随训练步数的变化曲线如图3所示.由图可看出, 训练9 000步时, 两个模型的准确率已达到87.5%, 已收敛.这表明模型在使用标注数据进行微调时, 性能较优, 并能较快达到收敛.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 2个模型在音素分类任务上微调后的准确率曲线Fig.3 Accuracy curves of 2 models after fine-tuning for phoneme classification task

2.3.2 说话人识别下游任务

为了测试本文方法得到的语音表示能否保留除音素类别以外的信息, 进一步在说话人识别下游任务上测试模型性能.

选择帧级别和句子级别, 各模型在说话人识别任务上的实验结果如表3所示, 表中黑体数字表示最优值.由帧级别的说话人识别测试结果可看出, 在100 h训练数据条件下, K=41, 50时得到的说话人识别准确率较接近, 分别为99.4%(TERA₁-50)和99.5%(TERA₁-41), 相比初始的教师模型(TERA₀), 提高0.6%.在960 h时训练数据条件下, 重训练后的说话人识别准确率与重训前的初始模型基本一致, 约为99.2%.

而从句子级别的说话人识别测试结果来看, 相比初始教师模型, 学生模型的性能并未得到明显提升.这一现象出现的原因可能是因为在聚类过程中, 训练数据按帧进行聚类, 因此学生模型倾向于更多地学习帧级别的语音信息.

此外, 在几轮迭代过程中, 学生模型在多次测试中基本保持性能不变.这是由于迭代过程中主要考虑语音帧的类别信息, 并没有针对说话人的信息进行专门的利用, 因此在聚类重训练迭代过程中, 模型在说话人识别任务中的性能得到保留, 并未随着迭代次数增加而明显提高.

表3

Table 3

表3(Table 3)

表3 各模型在说话人识别任务上的准确率对比 Table 3 Accuracy comparison of different models for speaker recognition task % 模型 100h预训练 960h预训练 帧级别 句子级别 帧级别 句子级别 TERA0 98.9 99.2 99.2 99.2 TERA1-41 99.5 99.2 99.1 99.0 TERA2-41 99.4 99.3 99.2 99.2 TERA3-41 99.4 99.3 99.1 99.0 TERA4-41 99.4 99.3 99.2 99.1 TERA5-41 99.5 99.3 99.2 99.2 TERA1-50 99.4 99.3 99.2 99.1 TERA2-50 99.3 99.1 99.2 99.0 TERA3-50 99.3 99.2 99.2 99.1 TERA4-50 99.3 99.2 99.2 99.2 TERA5-50 99.3 99.2 99.2 99.1

表3 各模型在说话人识别任务上的准确率对比 Table 3 Accuracy comparison of different models for speaker recognition task %

为了进一步评估本文方法对说话人信息的表示能力, 随机挑选10名说话人, 使用t分布随机邻域嵌入(t-Distributed Stochastic Neighbour Embedding, t-SNE)^[24]对语音的频谱特征log-Mel谱和本文方法学习得到的语音表示进行可视化分析.

对于每条音频数据, 首先对其进行平均, 产生该句子的表示, 然后使用主成分分析(Principal Com-ponents Analysis, PCA)进行降维, 最后使用scikit-learn工具箱, 将t-SNE应用于降维之后的向量, 进行二维空间的可视化.结果如图4所示, 图中每种颜色和形状表示一位说话人.

由图4(a)可看出, 原始的log-Mel谱对说话人区分性很差, 不同说话人对应的向量都混杂在一起, 说明频谱特征并不能较好地表征说话人的信息.由(b)可看出, 相同说话人对应的语音表示聚集在同个数据簇中, 而不同说话人的语音表示明显对应不同的数据簇, 表明本文方法学习到的语音表示能较好地提取说话人信息.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 2种方法对10名说话人的t-SNE可视化结果Fig.4 t-SNE visualization results of 2 methods for 10 speakers

2.3.3 对比实验结果

首先, 为了研究K-means聚类类别数的影响, 在实验中进一步增加对不同类别数的测试.实验使用100 h训练数据对模型进行预训练, 将类别数K分别设置为42、45, 并使用初始的教师模型训练一代学生模型(TERA₁-42、TERA₁-45).在下游任务中, 音素分类分别在LibriSpeech数据集的train-clean-100子集和TIMIT数据集上进行测试, 使用单层线性网络作为分类器.说话人识别任务的设置与2.3.2节相同, K=41, 42, 45, 50时各模型在帧级别的准确率对比如表4所示.

表4

Table 4

表4(Table 4)

表4 K不同时各模型的准确率对比 Table 4 Accuracy comparison of different models with different K % 模型 说话人识别 任务 音素分类任务 LibriSpeech TIMIT TERA1-41 99.5 70.5 70.2 TERA1-42 99.2 68.7 69.5 TERA1-45 99.2 69.2 69.7 TERA1-50 99.4 68.4 68.0

表4 K不同时各模型的准确率对比 Table 4 Accuracy comparison of different models with different K %

进一步, 选择如下对比方法:Mockingjay、AALB-ERT、TERA、wav2vec 2.0的Base版本(wav2vec 2.0-Base).同时, 还测试当K=500时的实验结果, 希望模型能通过聚类重训练过程, 学习更多细粒度的语音类别信息.此外, 考虑到教师模型和学生模型提取的语音表示包含的信息可能不会完全相同, 因此采用拼接和相加方式, 将教师模型与一次聚类重训练后学生模型提取的语音表示进行融合, 进一步测试融合后的语音表示性能.各模型的准确率对比如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 各模型的准确率对比 Table 5 Accuracy comparison of different models % 模型 100 h预训练 960 h预训练 说话人识别 任务 音素分类任务 说话人识别 任务 音素分类任务 LibriSpeech TIMIT LibriSpeech TIMIT Mockingjay 68.4 64.3 64.7 99.3 67.0 58.4 AALBERT 94.2 63.9 65.4 93.3 64.7 70.0 wav2vec 2.0-Base - - - 99.4 75.9 73.0 TERA0 98.9 65.6 65.2 99.2 69.6 70.0 TERA1-41 99.5 70.5 70.2 99.1 70.1 70.7 TERA1-50 99.4 68.4 68.0 99.2 71.9 71.9 TERA1-500 98.7 69.9 69.8 99.2 72.3 71.9 TERA1-41(相加) 99.6 71.5 71.2 99.2 70.5 71.5 TERA1-50(相加) 99.6 70.4 70.1 99.3 71.6 71.9 TERA1-41(拼接) 99.7 74.0 72.6 99.5 73.5 72.8 TERA1-50(拼接) 99.7 72.8 71.2 99.6 74.2 73.5

表5 各模型的准确率对比 Table 5 Accuracy comparison of different models %

由表5可知, 使用100 h数据训练模型, 在说话人识别任务中, 当K=41, 50时, 不同方法性能接近, 相加和拼接的方法分别将准确率提升到99.6%和99.7%.在音素分类任务中, K=41时方法性能更优, TERA₁-41(相加)在两个数据集上的准确率比TERA₁-41均提升1%.TERA₁-41(拼接)在两个音素识别任务上比TERA₁-41分别提升4.5%和2.6%.相比预训练的TERA, TERA₁-41(拼接)在音素识别任务中的准确率分别提升8.4%和7.4%, 且在所有任务中均达到最佳性能.

使用960 h数据训练的模型在K=50时的性能达到最佳, 在说话人识别任务中, TERA₁-50(拼接)准确率达到99.6%.在两个数据集上的音素分类任务中, TERA₁-50(拼接)的准确率分别达到74.2%和73.5%.相比wav2vec 2.0-Base, 在多种下游任务中, TERA₁-50(拼接)性能达到或超过其水平.

本文方法与wav2vec2.0-Base的参数值对比如表6所示.在模型的训练过程中, 本文方法的训练批次大小为8, 相当于约12 s的语音数据, 仅使用4个2080Ti GPU训练, 训练一代学生模型需要约10天.而wav2vec2.0-Base在训练过程中使用64个V100 GPU, 训练需要1.6天, 总的训练批次大小为1.6 h的语音数据.即使在不考虑不同GPU性能的情况下, 本文方法使用单个GPU需要训练40天, wav2-vec2.0-Base相当于使用单个GPU, 需要训练约102天, 因此本文方法所需计算资源更少, 训练所需的总时间相对更短, 参数约为wav2vec 2.0-Base的1/4.此外, 在下游任务的微调和推理测试过程中, 相比wav2vec 2.0, 本文方法所需的时间大幅减少.以TIMIT数据集上的音素分类测试为例, 实验对比表明在训练相同步数时, 本文方法的训练时间约是wav2vec 2.0的1/4.

表6

Table 6

表6(Table 6)

表6 本文方法和wav2vec 2.0-Base的参数值对比 Table 6 Parameter comparison of the proposed method and wav2vec 2.0-Base model 方法 参数量/M 训练所需资源 单个GPU预训练时间/天 下游任务训练速度 本文方法 22 2080Ti GPU× 4 40 × 1 wav2vec 2.0-Base 95 V100 GPU× 16 102 × 4.3

表6 本文方法和wav2vec 2.0-Base的参数值对比 Table 6 Parameter comparison of the proposed method and wav2vec 2.0-Base model

2.3.4 消融实验结果

本节验证本文方法中将标签预测任务与重建任务结合的有效性.将仅使用标签预测任务训练的学生模型与仅使用重建任务、使用预测与重建任务结合训练(即本文方法)的学生模型在下游任务中的测试结果进行对比.实验中均使用100 h训练数据对模型进行预训练, 聚类重训练过程中的类别数均设置为41.在训练下游任务时, 语音表示模型的参数均被冻结, 实验设置与2.3.3节相同.

两种下游任务的实验结果如表7所示.

表7

Table 7

表7(Table 7)

表7 本文方法中使用不同下游任务的准确率对比 Table 7 Accuracy comparison of the proposed method with different pretraining tasks % 训练任务 说话人识别 任务 音素分类任务 LibriSpeech TIMIT 仅预测任务 95.5 65.5 65.0 仅重建任务 98.9 65.6 65.2 预测+重建 99.5 70.5 70.2

表7 本文方法中使用不同下游任务的准确率对比 Table 7 Accuracy comparison of the proposed method with different pretraining tasks %

由表7可看出, 相比仅使用重建任务, 仅使用伪标签预测任务得到的语音表示模型在说话人识别和音素分类任务中的性能均有所下降, 特别是在说话人识别任务中性能下降更明显.这可能是由于标签预测任务更关注音素的类别信息, 对说话人信息不敏感, 从而使得到的语音表示中说话人信息有所损失.将两种任务结合进行训练后, 模型性能在两个下游任务中都得到提高, 表明标签预测任务和重建任务具有互补性, 由此表明本文方法的有效性.