融合多模式信息特定音頻檢索技術(shù)研究.pdf

1、隨著數(shù)字媒體技術(shù)的發(fā)展,越來越多的人能夠更加方便地接觸到數(shù)字媒體。多媒體檢索的目的是從大量的多媒體資源中自動(dòng)地查找與用戶查詢請求相關(guān)的各種多媒體信息。電視媒體是信息傳播和休閑娛樂的主流平臺,而電視廣告占總媒體投資中的70％的份額。因此給用戶提供準(zhǔn)確實(shí)時(shí)的廣告檢索具有很大的應(yīng)用前景。由于融合多模式信息的方法充分考慮了廣告中的視頻和音頻兩種媒體,并且數(shù)字指紋技術(shù)能夠很好的解決廣告檢索中準(zhǔn)確性和實(shí)時(shí)性的難題,因此本論文主要針對廣告檢索中關(guān)鍵技

2、術(shù)的難題開展了深入系統(tǒng)的研究。
　　本文在對現(xiàn)有的方法分析的基礎(chǔ)上,主要取得以下研究成果:
　　1.提出一種快速的音頻指紋提取方法。針對廣告音頻,對音頻數(shù)據(jù)按幀進(jìn)行傅立葉變換獲取頻域信息,提取每幀感知最相關(guān)的頻帶信息,將這些頻帶平分為33等分,并提取相鄰兩幀相鄰頻帶的差異作為指紋值,每幀提32個(gè)0/1值。實(shí)驗(yàn)表明,該方法具有快速準(zhǔn)確的特點(diǎn),速度比Jaap Haitsma的方法快30倍,比Jin S.Seo的方法快3倍,能夠滿

3、足實(shí)時(shí)的要求。對有目的的攻擊,準(zhǔn)確性比Jaap Haitsma和Jin S.Seo的方法有顯著的提高。
　　2.提出一種融合多模式信息特定音頻檢索方法。通過結(jié)合音視頻指紋對特定音頻進(jìn)行檢索。采用對音視頻指紋加權(quán)的方式進(jìn)行結(jié)合,充分考慮到音頻指紋的準(zhǔn)確性,并利用視頻指紋弱化“靜音”廣告的影響,與單一的指紋方法相比,檢索結(jié)果更加準(zhǔn)確,閾值自適用性有所提高。
　　3.建立一個(gè)融合多模式信息特定音頻檢索系統(tǒng)。將視頻指紋和音頻指紋方法