基于局部媒紋的分布式圖像搜索系統(tǒng)研究與實(shí)現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)的快速發(fā)展，微博、微信等社交媒體的出現(xiàn)，每天有海量的文本、圖像、音頻、視頻等數(shù)據(jù)在互聯(lián)網(wǎng)上產(chǎn)生，其中圖像的數(shù)據(jù)量已經(jīng)達(dá)到PB級(jí)別。面對(duì)如此海量的圖像數(shù)據(jù)，傳統(tǒng)的圖像搜索系統(tǒng)已不能滿足實(shí)際需要，因此新型分布式圖像搜索系統(tǒng)的研究與實(shí)現(xiàn)成為研究的熱點(diǎn)。
　　針對(duì)該問(wèn)題，研究了一種基于局部媒紋的分布式圖像搜索系統(tǒng)，提供百萬(wàn)級(jí)以上規(guī)模圖像的快速查詢(xún)服務(wù)。平臺(tái)系統(tǒng)主要包括索引服務(wù)器，搜索服務(wù)器，Web服務(wù)器，圖片服務(wù)器和代理服務(wù)器

2、五部分組成。系統(tǒng)設(shè)計(jì)充分考慮到搜索的高效性、擴(kuò)展性和易存儲(chǔ)性，采用了基于Zookeeper實(shí)現(xiàn)的索引自動(dòng)同步和更新方法，實(shí)現(xiàn)了服務(wù)器的自動(dòng)高效管理；通過(guò)增加代理服務(wù)器的方式，提高Web服務(wù)器和搜索服務(wù)器之間的通信效率；改進(jìn)了負(fù)載均衡的策略，實(shí)現(xiàn)服務(wù)器更均衡地處理查詢(xún)請(qǐng)求。在離線處理階段，采用了基于hadoop的局部特征批量提取與索引構(gòu)建方法，大幅度提高批量處理速度。
　　在圖像局部媒紋的生成過(guò)程中，首先提取圖像的SIFT特征，然后

3、分別采用分組降維和PCA降維對(duì)特征進(jìn)行轉(zhuǎn)化，將長(zhǎng)度為128的特征向量轉(zhuǎn)化為32位的無(wú)符號(hào)整數(shù)，作為圖像的局部媒紋。在基于媒紋的索引構(gòu)建過(guò)程中，提出了基于大容量?jī)?nèi)存的索引結(jié)構(gòu)，可根據(jù)查詢(xún)索引快速定位到圖像列表，大幅度提高查詢(xún)速度；在分布式查詢(xún)方面，對(duì)比了集中放置和分散放置兩種不同的分布式方法，并針對(duì)不同服務(wù)器上查詢(xún)時(shí)間不完全一致的問(wèn)題，借鑒CPU指令流水線思想提出了改進(jìn)的方法。
　　實(shí)驗(yàn)表明，采用PCA降維的方法比普通分組降維的方法