基于多模態(tài)特征的新聞視頻語義分析.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展，數(shù)字視頻在人們的生活中成為不可或缺的信息載體。如何幫助人們從海量視頻數(shù)據(jù)中找到自己感興趣的內(nèi)容?國家有關(guān)部門如何對危害社會(huì)穩(wěn)定、團(tuán)結(jié)和影響青少年健康成長的不良視頻內(nèi)容進(jìn)行有效監(jiān)管?基于語義的多媒體信息檢索，視頻語義內(nèi)容安全分析是處理上述問題亟需攻克的技術(shù)難題。視頻數(shù)據(jù)包含著豐富的語義內(nèi)容，作為視頻的一種高級語義線索，視頻中的文本(包括主題字幕信息和語音腳本)所包含的信息對于視頻內(nèi)容的理解具有很高的價(jià)

2、值。如何從視頻中檢測、抽取主題字幕，如何得到視頻語音腳本，如何對同一視頻故事的字幕信息和音頻腳本進(jìn)行有效融合等是視頻語義信息提取的關(guān)鍵問題。
　　 本文提出了一種基于多模態(tài)特征融合的新聞視頻語義信息提取框架。首先，對主題字幕進(jìn)行檢測、定位、識(shí)別；其次，對視頻中的音頻信息進(jìn)行分類和語音識(shí)別；最后，為解決語音識(shí)別結(jié)果錯(cuò)誤率較高的問題，由主題字幕信息通過搜索引擎得到與視頻故事相關(guān)的網(wǎng)頁，利用網(wǎng)頁文本對語音識(shí)別的結(jié)果糾錯(cuò)。通過自然語言層