語(yǔ)種識(shí)別中的語(yǔ)音段表示方法研究.pdf

1、語(yǔ)種識(shí)別(Language Identification，LID)是對(duì)一段語(yǔ)音自動(dòng)識(shí)別出其所屬語(yǔ)言的種類(lèi)的過(guò)程。由此可知，語(yǔ)種識(shí)別是一種針對(duì)語(yǔ)音段進(jìn)行的模式識(shí)別，因此語(yǔ)種識(shí)別中的一個(gè)關(guān)鍵問(wèn)題即是如何得到用以描述語(yǔ)音段的表示。語(yǔ)種識(shí)別中包含了特征提取和語(yǔ)音識(shí)別前端模型等一系列語(yǔ)音信號(hào)處理領(lǐng)域的核心技術(shù)，具有一定的科學(xué)研究?jī)r(jià)值。同時(shí)作為語(yǔ)音領(lǐng)域的一種前端處理技術(shù)，語(yǔ)種識(shí)別在多語(yǔ)種語(yǔ)音識(shí)別、跨語(yǔ)種通信系統(tǒng)以及軍事監(jiān)聽(tīng)等領(lǐng)域有著廣泛的應(yīng)用。

2、r>　　傳統(tǒng)的語(yǔ)種識(shí)別方法主要有基于音素搭配與基于底層聲學(xué)特征的兩大系統(tǒng)。傳統(tǒng)方法中雖然長(zhǎng)時(shí)測(cè)試性能取得了很大的進(jìn)展，但仍存在著短時(shí)與方言識(shí)別率低等問(wèn)題。隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)的發(fā)展與成功應(yīng)用，語(yǔ)種識(shí)別有了一個(gè)新的研究領(lǐng)域。在前端特征提取上，提出基于深度瓶頸特征結(jié)合全差異空間模型(Deep Bottleneck Feature-Total Variability, DBF-TV)，該方法將深度

3、神經(jīng)網(wǎng)絡(luò)中間瓶頸隱層的信息成功運(yùn)用到語(yǔ)種識(shí)別中。在后端建模方法上，則根據(jù)DNN區(qū)分性建模的能力充分利用其輸出層信息，如DNN/i-Vector方法，即利用DNN輸出層音素狀態(tài)后驗(yàn)重新估計(jì)通用背景模型(Universal BackgroundModel，UBM)。然而對(duì)于一個(gè)以底層聲學(xué)特征為輸入、音素狀態(tài)后驗(yàn)為輸出訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)，我們認(rèn)為該網(wǎng)絡(luò)從輸入層至輸出層依次反映了語(yǔ)音從底層聲學(xué)特征到高層語(yǔ)義與音素相關(guān)的較為完備的信息，而且各

4、層信息之間具有互補(bǔ)性。因此本文就基于同一DNN不同層信息如何得到語(yǔ)音段的表示展開(kāi)研究，具體而言即是同時(shí)利用同一神經(jīng)網(wǎng)絡(luò)的中間瓶頸層和輸出層信息。
　　首先，對(duì)于從深度神經(jīng)網(wǎng)絡(luò)輸出層提取的音素狀態(tài)幀級(jí)特征，可以認(rèn)為其是在各幀上展開(kāi)的音素狀態(tài)序列，則每段語(yǔ)音可以通過(guò)計(jì)算其統(tǒng)計(jì)量作為語(yǔ)音段表示。得到的語(yǔ)音段表示是向量形式的，則可直接用區(qū)分性模型對(duì)其進(jìn)行分類(lèi)。具體則根據(jù)其特性，使用合適的核函數(shù)進(jìn)行了支持向量機(jī)分類(lèi)。并根據(jù)神經(jīng)網(wǎng)絡(luò)不同層信息

5、的互補(bǔ)性，將該方法與DBF-TV進(jìn)行融合，能夠提升語(yǔ)種識(shí)別系統(tǒng)的性能。
　　其次，在帶有中間瓶頸層的深度神經(jīng)網(wǎng)絡(luò)上實(shí)現(xiàn)基于DBF的DNN/i-Vector基線(xiàn)系統(tǒng)，同時(shí)完成中間層DBF特征的提取與以輸出層音素狀態(tài)為依據(jù)的聚類(lèi)，即在模型域?qū)烧哌M(jìn)行融合。具體地，利用DNN輸出層的音素狀態(tài)為聚類(lèi)的依據(jù)，以其后驗(yàn)概率代替每幀特征在傳統(tǒng)UBM模型中各高斯上的占有率，再結(jié)合DBF得到帶有與音素狀態(tài)相關(guān)的UBM。以此為基線(xiàn)，對(duì)DNN/i-Ve

6、ctor系統(tǒng)的輸入特征DBF進(jìn)行Acoustic Factor Analysis(AFA)建模，使其得到的模型能夠更好地描述特征空間，以此進(jìn)一步提升系統(tǒng)的識(shí)別性能。
　　最后，從深度神經(jīng)網(wǎng)絡(luò)輸出層提取的特征是一種幀級(jí)特征，類(lèi)似DBF特征亦可以利用統(tǒng)計(jì)建模的方法對(duì)其在幀級(jí)特征空間上的分布特性進(jìn)行描述以得到語(yǔ)音段表示。然而此類(lèi)特征一般都屬于高維特征，需要在低維空間上對(duì)其分析。我們采用混合因子分析(Mixtures of Factor