基于音頻和視頻特征融合的身份識(shí)別.pdf

1、針對(duì)單模態(tài)的說(shuō)話人識(shí)別和人臉識(shí)別在準(zhǔn)確率，應(yīng)用的限制性和局限性等方面的缺點(diǎn)，本文從信息融合的角度出發(fā)，在特征層將兩種單模態(tài)信息進(jìn)行融合，實(shí)現(xiàn)音頻信息和視頻信息雙模態(tài)特征融合的身份識(shí)別。
　　 本文首先就單模態(tài)的說(shuō)話人識(shí)別和人臉識(shí)別進(jìn)行了分析。結(jié)合VQ和SVM識(shí)別模型各自的優(yōu)點(diǎn)，實(shí)現(xiàn)了一種基于VQ和SVM混合說(shuō)話人識(shí)別模型。對(duì)于特征臉人臉識(shí)別算法，本文用L1-范數(shù)，歐氏距離，MIN距離和混合馬氏距離四種度量距離對(duì)算法進(jìn)行了比較。然

2、后將脈沖耦合神經(jīng)網(wǎng)絡(luò)應(yīng)用到人臉識(shí)別中，并在此基礎(chǔ)上建立了人臉識(shí)別系統(tǒng)。
　　 其次本文重點(diǎn)對(duì)雙模態(tài)的音視頻特征融合識(shí)別進(jìn)行了研究，由于特征層融合可用的信息量大，可以用于實(shí)時(shí)處理，故本文實(shí)現(xiàn)了基于歸一化和SVM，基于PCNN兩種融合識(shí)別算法在特征層對(duì)音頻和視頻特征進(jìn)行融合識(shí)別。前者本文是利用特征相連法將語(yǔ)音特征和人臉特征相連在一起，后者是將兩種特征的熵序列融合在一起。實(shí)驗(yàn)表明，融合系統(tǒng)的識(shí)別率都要比單模態(tài)的識(shí)別率要高，特別是將噪音