中國(guó)科學(xué)技術(shù)大學(xué)聲音轉(zhuǎn)換的神經(jīng)網(wǎng)絡(luò)建模方法研究.pdf

1、聲音轉(zhuǎn)換技術(shù)是在保持語(yǔ)義內(nèi)容不變情況下，改變一個(gè)說(shuō)話(huà)人語(yǔ)音中的個(gè)性信息使其具有另外一個(gè)說(shuō)話(huà)人的發(fā)音特征。它是語(yǔ)音信號(hào)處理領(lǐng)域一個(gè)較新的分支。對(duì)這項(xiàng)技術(shù)的研究不僅對(duì)語(yǔ)音編碼、語(yǔ)音合成、語(yǔ)音增強(qiáng)和語(yǔ)音識(shí)別等語(yǔ)音信號(hào)處理領(lǐng)域具有促進(jìn)意義，同時(shí)它還可以應(yīng)用于多媒體娛樂(lè)、醫(yī)療、保密通信等方面具有廣泛的應(yīng)用價(jià)值。基于高斯混合模型(Gaussian Mixture Model，GMM)的轉(zhuǎn)換方法是目前主流的聲音轉(zhuǎn)換方法。該方法采用統(tǒng)計(jì)建模的方式建立轉(zhuǎn)

2、換關(guān)系，具有相似度高、魯棒性好的優(yōu)點(diǎn)。但是其得到的轉(zhuǎn)換語(yǔ)音的音質(zhì)受過(guò)平滑效應(yīng)的影響仍有待提高。并且這種方法獲得的轉(zhuǎn)換模型是源和目標(biāo)說(shuō)話(huà)人相關(guān)的，針對(duì)新的轉(zhuǎn)換說(shuō)話(huà)人對(duì)需要重新訓(xùn)練模型，使得模型在使用靈活性上存在缺陷。
　　本文圍繞改善基于GMM模型的聲音轉(zhuǎn)換方法的轉(zhuǎn)換效果與提高轉(zhuǎn)換模型的使用靈活性?xún)煞矫嬲归_(kāi)研究。基于GMM模型轉(zhuǎn)換方法中的過(guò)平滑效應(yīng)問(wèn)題主要由兩個(gè)原因產(chǎn)生:1）建模采用的高層頻譜特征從原始頻譜上提取得到，特征的提取過(guò)程

3、導(dǎo)致頻譜細(xì)節(jié)信息丟失;2）GMM只能建立線(xiàn)性轉(zhuǎn)換關(guān)系，對(duì)源和目標(biāo)頻譜特征的非線(xiàn)性轉(zhuǎn)換關(guān)系建模不足。為此，本文提出直接采用頻譜包絡(luò)特征進(jìn)行建模。針對(duì)GMM模型對(duì)頻譜包絡(luò)特征建模困難的問(wèn)題，本文提出了一種采用高斯型雙向聯(lián)想貯存器(Gaussian Bidirectional Associative Memory，GBAM)實(shí)現(xiàn)對(duì)源和目標(biāo)頻譜包絡(luò)聯(lián)合特征建模的方法，提高了轉(zhuǎn)換語(yǔ)音的自然度和相似度。由于GBAM建立的仍然是源和目標(biāo)頻譜包絡(luò)的線(xiàn)性

4、轉(zhuǎn)換關(guān)系，本文在受限玻爾茲曼機(jī)(Restricted Boltzmann Machine，RBM)和伯努利型BAM(Bernoulli BAM，BBAM)基礎(chǔ)上進(jìn)一步研究了一種基于產(chǎn)生式訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型（Generative Trained Deep Neural Network，GTDNN），這種模型可以建立源和目標(biāo)頻譜包絡(luò)的非線(xiàn)性轉(zhuǎn)換關(guān)系，進(jìn)一步提升了轉(zhuǎn)換語(yǔ)音的效果。此外，為了提高轉(zhuǎn)換模型的使用靈活性，本文提出基于多源說(shuō)話(huà)人數(shù)