基于內(nèi)容的圖像檢索和視頻標(biāo)注.pdf

1、隨著計(jì)算機(jī)科學(xué)技術(shù)的飛速發(fā)展,通信網(wǎng)絡(luò),數(shù)據(jù)壓縮和海量存儲(chǔ)等新技術(shù)為人們接觸多媒體信息提供了技術(shù)上的保證,多媒體信息以可讀的形式存儲(chǔ)于各種媒介之上,形成了龐大的信息海洋。各種數(shù)碼產(chǎn)品層出不窮,也使得人們可以越來(lái)越多地獲取個(gè)人化的圖像和視頻信息,并形成新的信息處理需求。對(duì)海量的信息,包括圖形,圖像,視頻等,新技術(shù)產(chǎn)品提供了越來(lái)越多的數(shù)據(jù)源,但在建立信息結(jié)構(gòu),提取信息語(yǔ)義特征,進(jìn)行標(biāo)識(shí)建模和有效組織方面還有所欠缺,人們面對(duì)海量的多媒體信息是

2、僅通過(guò)瀏覽來(lái)獲取所關(guān)注的內(nèi)容是不可行的,因此從海量信息中檢索出有用的信息成了一個(gè)重要課題。
　　 本文的研究工作集中于圖像檢索和視頻的標(biāo)注。圖像信息有多種獲取來(lái)源,包括互聯(lián)網(wǎng)上下載,自己用數(shù)碼相機(jī)拍攝等。早期的圖像檢索技術(shù),包括現(xiàn)在仍占據(jù)主流地位的圖片檢索引擎往往還是利用圖片的標(biāo)注信息,即用關(guān)鍵詞作為索引項(xiàng),再用傳統(tǒng)的數(shù)據(jù)庫(kù)對(duì)這些圖片進(jìn)行管理和檢索。人工標(biāo)注方法對(duì)于海量的信息來(lái)源已經(jīng)不再適用,不同的標(biāo)注者對(duì)圖片內(nèi)容的理解也不同,

3、因此隨著圖像處理技術(shù)的成熟,近年來(lái)研究的熱點(diǎn)越來(lái)越多地集中于用圖片本身內(nèi)容所包含的信息作為關(guān)鍵字進(jìn)行檢索,也就是基于內(nèi)容的圖像檢索,許多富于實(shí)際應(yīng)用意義的檢索系統(tǒng)已經(jīng)被啟用。因此,本文針對(duì)以圖片作為關(guān)鍵字進(jìn)行的檢索,也就是按例查詢(xún)的基于內(nèi)容圖像檢索進(jìn)行了研究。
　　 隨著視頻流媒體的飛速發(fā)展,越來(lái)越多視頻信息成為人們關(guān)注的焦點(diǎn),多媒體信息檢索的需求也越來(lái)越多地從圖像過(guò)渡到視頻。對(duì)視頻信息而言,可以看作是融合了圖像,語(yǔ)音,文本和動(dòng)

4、畫(huà)等多種類(lèi)型的媒體數(shù)據(jù)。同樣地,對(duì)視頻信息進(jìn)行人工標(biāo)注,已是幾乎不可能完成的任務(wù)。這些困難促使人們尋找著新的視頻索引和檢索技術(shù)。另一方面,視頻本身的表達(dá)上,也已經(jīng)誕生了不同的形式。自從MPEG壓縮視頻標(biāo)準(zhǔn)被提出后,越來(lái)越多的視頻信息以MPEG壓縮視頻的形式進(jìn)行存儲(chǔ)。視頻可以看作是視頻幀的集合,對(duì)非壓縮視頻的處理需要處理大量的視頻幀,于是誕生了直接對(duì)MPEG壓縮視頻流進(jìn)行處理的需求。如果可以直接從MPEG壓縮視頻流中提取出作為檢索的有效特

5、征和信息,將大大提高視頻檢索的效率。因此,本文的工作也對(duì)這一問(wèn)題進(jìn)行了研究和探討。
　　 對(duì)圖片和視頻的信息,本質(zhì)上都基于對(duì)信息的特征提取。在以往的工作中,人們提出了許許多多新的特征,對(duì)同一類(lèi)特征,比如,顏色,紋理,形狀描述等,有很多不同的表述方法。隨著研究的不斷深入,1996年,MPEG組織開(kāi)始著手制定MPEG-7,提供多媒體內(nèi)容描述框架,對(duì)多媒體內(nèi)容進(jìn)行了完整的描述。其中可視化描述工具,可對(duì)圖像內(nèi)容進(jìn)行標(biāo)準(zhǔn)化的描述,從而實(shí)現(xiàn)

6、快速有效的檢索,同時(shí)也可以增加圖像特征描述的通用性。2001年,MPEG-7公布并正式成為國(guó)際性標(biāo)準(zhǔn),在我們的研究工作中也使用了若干MPEG-7特征來(lái)增加檢索的準(zhǔn)確性。
　　 基于內(nèi)容的多媒體檢索技術(shù)的日益成熟將創(chuàng)造出巨大的社會(huì)價(jià)值,對(duì)人類(lèi)生活的改善發(fā)揮重要作用。它與傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)相結(jié)合,可以方便地實(shí)現(xiàn)海量多媒體數(shù)據(jù)的存儲(chǔ)和管理;它與Web搜索引擎技術(shù)結(jié)合,可以用來(lái)檢索網(wǎng)頁(yè)中豐富的多媒體信息;它與數(shù)碼相機(jī),數(shù)碼攝像機(jī)等產(chǎn)品技術(shù)相

7、結(jié)合,可使人們更有效地管理自己拍攝的多媒體內(nèi)容,獲得更佳的使用體驗(yàn);它與互動(dòng)數(shù)字電視相結(jié)合,可使人們更方便地檢索到自己想要觀賞的多媒體內(nèi)容等。在可預(yù)見(jiàn)的將來(lái),基于內(nèi)容的多媒體檢索技術(shù)將會(huì)在各個(gè)領(lǐng)域中得到更成熟和廣泛的使用。
　　 本文以基于內(nèi)容的圖片和視頻檢索為研究目標(biāo),以檢索的過(guò)程(特征提取,特征相似度比較等)為主線,結(jié)合自己的研究工作,重點(diǎn)介紹圖片檢索算法中基于圖片分割的特征提取,圖片相似度比較,壓縮MPEG視頻的鏡頭運(yùn)動(dòng)向

8、量提取和視頻鏡頭標(biāo)注等關(guān)鍵技術(shù)。
　　 論文第一章著重介紹多媒體檢索研究的發(fā)展現(xiàn)狀。簡(jiǎn)要介紹幾個(gè)具有代表性的圖像檢索系統(tǒng)和視頻內(nèi)容分析的一些基礎(chǔ)概念。隨后介紹多媒體檢索研究中的若干關(guān)鍵技術(shù)和主要的進(jìn)展。第二章,從圖像方面入手,著重介紹基于內(nèi)容的圖像檢索中的一些關(guān)鍵技術(shù),如圖像特征提取,特征的相似度匹配等。在提取圖像特征的過(guò)程中,除了已成為標(biāo)準(zhǔn)的MPEG-7特征,我們還進(jìn)一步實(shí)現(xiàn)了應(yīng)用MeanShift算法進(jìn)行圖像分割,以此提供更

9、多關(guān)于圖像中的空間位置信息。因此在這一章也對(duì)基于MeanShift算法的圖像聚類(lèi)和分割進(jìn)行了介紹。第三章,主要介紹我們?cè)诨趦?nèi)容的圖像檢索方面所作的工作。本文的研究工作主要集中在對(duì)特征相似度比較的改進(jìn)上,提出了兩種相似度改進(jìn)算法。第四章,我們開(kāi)始探討在另一種多媒體領(lǐng)域,即視頻方面所作的研究工作。本文的研究工作主要處理對(duì)象是MPEG壓縮視頻,這一章給出了對(duì)于MPEG壓縮視頻格式的介紹,并比較了對(duì)非壓縮MPEG視頻和壓縮MPEG視頻進(jìn)行處理