圖文特征聯(lián)合的證據(jù)圖像檢索技術(shù)研究.pdf

1、隨著Web2.0的快速發(fā)展，特別是社會網(wǎng)絡(luò)的飛速普及，互聯(lián)網(wǎng)已成為輿論傳播的主戰(zhàn)場，網(wǎng)絡(luò)輿論傳播使得全民監(jiān)督力量得到較大程度張揚(yáng)的同時，也為虛假信息、謠言、網(wǎng)絡(luò)犯罪提供了土壤。其中，文本是最常使用的輿論傳播載體，但是，“百聞不如一見”，由于數(shù)字圖像能直觀的展示事發(fā)現(xiàn)場的真實(shí)情景，其更容易對大眾心理和情感產(chǎn)生巨大沖擊，因此，圖像正日益受到輿論欺詐者的青睞，圖像式的“網(wǎng)絡(luò)謠言”也被越來越頻繁地用在網(wǎng)絡(luò)輿論欺詐中。
　　圖像式網(wǎng)絡(luò)輿論欺

2、詐所用圖像的典型獲取方式主要有三種：圖像造假、挪用和擺拍。傳統(tǒng)的鑒別圖像真?zhèn)蔚姆椒ㄊ菙?shù)字圖像真實(shí)性鑒別技術(shù)，主要通過檢測數(shù)字圖像內(nèi)容的完整性和真實(shí)性來判斷圖像是否被篡改過。本文研究的圖文特征聯(lián)合的證據(jù)圖像檢索技術(shù)使用數(shù)字圖像舉證技術(shù)，通過利用Web圖像的視覺特征和其伴隨文本的特征，在互聯(lián)網(wǎng)上搜尋與圖像式網(wǎng)絡(luò)輿論欺詐中所使用圖像的場景內(nèi)容相同或相似的圖像，從而以它們作為物證來反制圖像式網(wǎng)絡(luò)輿論欺詐。
　　本文的研究目標(biāo)是圖文特征聯(lián)合

3、的證據(jù)圖像檢索技術(shù)，研究內(nèi)容及本文研究定位的確定主要基于以下三點(diǎn)考慮。首先，證據(jù)圖像檢索問題針對的主要是人物圖像尤其是名人相關(guān)的圖像，因?yàn)槠湓趫D像式網(wǎng)絡(luò)輿論欺詐中使用的最為頻繁，當(dāng)前沒有公開的針對此應(yīng)用背景的數(shù)據(jù)集，故而面向證據(jù)圖像檢索的大規(guī)模人物相關(guān)的圖文數(shù)據(jù)集是本文研究的數(shù)據(jù)支撐。第二，證據(jù)圖像檢索不同于傳統(tǒng)意義上的圖像檢索，其問題的本質(zhì)是計(jì)算機(jī)視覺領(lǐng)域“以圖搜圖”形式的近重復(fù)圖像檢索問題，因此近重復(fù)圖像檢索是本文研究的基礎(chǔ)內(nèi)容；第

4、三，當(dāng)前的近重復(fù)圖像檢索均僅是基于視覺特征，同時利用視覺特征和文本特征來進(jìn)行證據(jù)圖像檢索的研究還未見公開報(bào)道，因此圖文特征聯(lián)合的證據(jù)圖像檢索模式是本文研究的探索創(chuàng)新點(diǎn)?；谝陨蠋c(diǎn)分析，本文主要研究內(nèi)容和研究成果如下：
　?。?）構(gòu)建了面向證據(jù)圖像檢索的大規(guī)模圖文數(shù)據(jù)集DVPF
　　以互聯(lián)網(wǎng)為來源，構(gòu)建了面向證據(jù)圖像檢索的大規(guī)模圖文信息數(shù)據(jù)集 DVPF（Dataset for Visual Proofs Finding），該

5、數(shù)據(jù)集包含四個領(lǐng)域1295個名人的2229945幅圖像及每幅圖像的文檔標(biāo)題、文檔正文和圖像標(biāo)題等文本信息，并且系統(tǒng)地分析了數(shù)據(jù)集的各項(xiàng)特征。綜合研究性和應(yīng)用性，人工標(biāo)注了40個近重復(fù)圖像組作為Ground-Truth，以便進(jìn)行定量實(shí)驗(yàn)評測。
　?。?）全面分析和評測了主流的基于視覺特征的近重復(fù)圖像檢索算法
　　在對當(dāng)前基于視覺特征的近重復(fù)圖像檢索關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的綜述的基礎(chǔ)上，重點(diǎn)介紹了Hash簽名特征和BoVW模型，針對

6、BoVW中的兩個主要不足：量化誤差和幾何信息丟失，系統(tǒng)分析了當(dāng)前主流的改進(jìn)算法，最后在數(shù)據(jù)集DVPF上詳細(xì)地對Hash簽名特征、BoVW及其改進(jìn)模型進(jìn)行了定量實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)結(jié)果分析了每種方法的優(yōu)缺點(diǎn)，確定BoVW+HE+WGC和BoVW+HE+EWGC兩種方法作為本文圖文特征聯(lián)合近重復(fù)圖像檢索方法的基礎(chǔ)。
　　（3）提出了Text-bounded和Data-driven兩種圖文特征聯(lián)合的證據(jù)圖像檢索方法框架
　　根據(jù)當(dāng)前近重

7、復(fù)圖像檢索僅僅依賴視覺特征的現(xiàn)實(shí)和互聯(lián)網(wǎng)圖文信息的互相伴隨性，結(jié)合本文證據(jù)圖像檢索的應(yīng)用背景，分析了證據(jù)圖像檢索背景下的大規(guī)模圖文數(shù)據(jù)集 DVPF的數(shù)據(jù)組織形式，提出了兩種可用于證據(jù)圖像檢索的簡單有效的文本特征利用模式：先文后圖和先圖后文，針對這兩種文本特征利用模式分別提出了Text-bounded和Data-driven兩種證據(jù)圖像檢索框架。實(shí)驗(yàn)結(jié)果表明，兩種框架均有效提高了證據(jù)圖像檢索的精度，檢索的平均準(zhǔn)確率提高了18.5％。

8、>　?。?）設(shè)計(jì)與實(shí)現(xiàn)了證據(jù)圖像檢索原型系統(tǒng)
　　在全文理論與實(shí)驗(yàn)分析的基礎(chǔ)上，立足信息系統(tǒng)開發(fā)的角度，從需求分析、工作原理、系統(tǒng)設(shè)計(jì)和系統(tǒng)實(shí)現(xiàn)幾個方面出發(fā)，設(shè)計(jì)和實(shí)現(xiàn)了一個圖文特征聯(lián)合的證據(jù)圖像檢索原型系統(tǒng)，該系統(tǒng)綜合了大規(guī)模圖文數(shù)據(jù)采集、大規(guī)模圖文數(shù)據(jù)處理和前端演示等功能，具有較好的實(shí)用性。
　　綜上所述，本文以證據(jù)圖像檢索為應(yīng)用背景，以計(jì)算機(jī)視覺理論和機(jī)器學(xué)習(xí)理論等知識作為理論基礎(chǔ)，針對當(dāng)前近重復(fù)圖像檢索技術(shù)的研究現(xiàn)狀