新聞視頻語(yǔ)義概念探測(cè)與語(yǔ)義檢索關(guān)鍵技術(shù)研究.pdf

1、新聞視頻由于其真實(shí)準(zhǔn)確、內(nèi)容豐富、信息量大等特點(diǎn)，成為人們獲得信息的重要媒體類型。對(duì)于情報(bào)人員而言，新聞視頻是一種公開(kāi)的情報(bào)源，其時(shí)效快，且反映各國(guó)政治、經(jīng)濟(jì)、軍事和外交政策，從而能夠?yàn)榍閳?bào)人員提供豐富情報(bào)，為戰(zhàn)略決策分析提供重要輔助，因此研究新聞視頻的語(yǔ)義分析技術(shù)無(wú)論對(duì)于普通民眾或是情報(bào)分析人員都具有非常重要的意義。但是新聞視頻的底層特征與高層語(yǔ)義之間存在的語(yǔ)義鴻溝問(wèn)題使得新聞視頻的語(yǔ)義內(nèi)容分析面臨巨大困難，并且新聞視頻的非結(jié)構(gòu)化的數(shù)

2、據(jù)格式、巨大的數(shù)據(jù)量以及表現(xiàn)內(nèi)容不透明等特點(diǎn)使得人們難以方便快速對(duì)新聞視頻進(jìn)行瀏覽和檢索。由此可見(jiàn)，分析新聞視頻的語(yǔ)義內(nèi)容以輔助用戶獲得有效的新聞視頻信息是值得深入研究的問(wèn)題，本文針對(duì)此具有理論意義及應(yīng)用前景的課題進(jìn)行了探索和研究，目的在于解決新聞視頻語(yǔ)義概念探測(cè)和語(yǔ)義檢索中部分關(guān)鍵技術(shù)，為構(gòu)建有效的新聞視頻語(yǔ)義檢索系統(tǒng)提供技術(shù)支持，同時(shí)也為獲得新聞視頻的視覺(jué)語(yǔ)義內(nèi)容、跨越語(yǔ)義鴻溝提供解決思路。
　　本文首先建立一個(gè)新聞視頻語(yǔ)義檢

3、索研究的技術(shù)框架，在此基礎(chǔ)上重點(diǎn)研究基于概念關(guān)系的語(yǔ)義概念探測(cè)、基于多線索信息的語(yǔ)義概念探測(cè)、新聞視頻語(yǔ)義索引構(gòu)建以及用戶查詢多模態(tài)語(yǔ)義擴(kuò)展等關(guān)鍵性技術(shù)，通過(guò)實(shí)驗(yàn)驗(yàn)證了本文研究的可行性和本文所提出算法的性能。論文的主要貢獻(xiàn)具體表現(xiàn)在如下幾個(gè)方面：
　　1、提出了基于概念關(guān)系的語(yǔ)義概念探測(cè)方法。對(duì)語(yǔ)義概念間存在的上下文關(guān)系進(jìn)行定量定性分析，針對(duì)顯式和隱式兩類語(yǔ)義概念探測(cè)方法提出新的解決思路。針對(duì)隱式探測(cè)方法，提出在基于上下文關(guān)系的語(yǔ)

4、義概念探測(cè)框架中增加相關(guān)概念選擇模塊，并結(jié)合視覺(jué)相似性、探測(cè)器準(zhǔn)確率等多項(xiàng)要素得到最終的融合判定；在此基礎(chǔ)上，根據(jù)概念關(guān)系對(duì) Boosting方法中的權(quán)重分布策略進(jìn)行改進(jìn)，在限制權(quán)重?cái)U(kuò)張的同時(shí)平衡了探測(cè)模型訓(xùn)練過(guò)程中的誤判率與誤拒率。針對(duì)顯式探測(cè)方法，有效利用語(yǔ)義概念的共現(xiàn)與互斥關(guān)系，將精化過(guò)程轉(zhuǎn)化為隨機(jī)漫步過(guò)程，并分解為正、負(fù)相關(guān)兩個(gè)部分進(jìn)行迭代精化處理以保證隨機(jī)過(guò)程的收斂，進(jìn)一步去除不可靠相關(guān)概念，以獲得更為魯棒的精化結(jié)果。

5、　　2、提出了基于多線索信息的語(yǔ)義概念探測(cè)方法。分析了對(duì)于探測(cè)新聞視頻語(yǔ)義概念具有重要作用的多線索信息，包括運(yùn)動(dòng)信息、時(shí)間信息以及文本信息。針對(duì)運(yùn)動(dòng)信息，提出了運(yùn)動(dòng)特征與背景特征相融合的語(yǔ)義概念探測(cè)框架，采用運(yùn)動(dòng)局部不變特征描述子對(duì)鏡頭進(jìn)行運(yùn)動(dòng)特征提取，并采用概率潛在語(yǔ)義分析獲得鏡頭的潛在語(yǔ)義以構(gòu)建潛在運(yùn)動(dòng)語(yǔ)義概念探測(cè)模型；針對(duì)時(shí)間信息，綜合分析語(yǔ)義概念的多種時(shí)序關(guān)系，包括時(shí)間一致性關(guān)系、鏡頭間上下文關(guān)系以及鏡頭內(nèi)上下文關(guān)系，構(gòu)建了基于

6、擴(kuò)展N-gram語(yǔ)言模型的時(shí)序平滑框架，并利用高階時(shí)序關(guān)系抑制模型中的數(shù)據(jù)稀疏問(wèn)題。
　　3、提出了新聞視頻的層次化語(yǔ)義索引結(jié)構(gòu)，包括潛在概念、語(yǔ)義概念、文本詞匯以及高層的概念聚類。針對(duì)高層概念聚類，提出了基于四部圖劃分的新聞視頻故事單元聚類方法。該方法在分析新聞視頻高階異構(gòu)特性的基礎(chǔ)上，構(gòu)建了新聞故事單元的四部圖模型，將四部圖聯(lián)合聚類問(wèn)題分解為三個(gè)二部圖劃分問(wèn)題，并進(jìn)一步轉(zhuǎn)化為多目標(biāo)優(yōu)化問(wèn)題，采用半正定規(guī)劃方法獲得全局最優(yōu)解，以

7、得到最終的聯(lián)合聚類結(jié)果。
　　4、提出了用戶查詢的多模態(tài)語(yǔ)義擴(kuò)展方法，利用WordNet衡量查詢文本與語(yǔ)義概念間的相似度，并結(jié)合概念關(guān)系完成查詢與語(yǔ)義概念的初步映射，在此基礎(chǔ)上提出多特征交互框架，利用包括語(yǔ)義概念、潛在語(yǔ)義、文本語(yǔ)義在內(nèi)的多類語(yǔ)義特征之間的互補(bǔ)特性，對(duì)初始檢索結(jié)果進(jìn)行重排序，以獲得多模態(tài)語(yǔ)義擴(kuò)展的用戶查詢，并與層次化語(yǔ)義索引進(jìn)行映射得到最終的語(yǔ)義檢索結(jié)果。
　　5、基于本文的研究?jī)?nèi)容，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)新聞視頻