基于HAMA的半監(jiān)督哈希方法研究與應(yīng)用.pdf

1、在基于內(nèi)容的圖像檢索應(yīng)用中，基于哈希的最近鄰檢索算法有著很高的計(jì)算和內(nèi)存效率。而半監(jiān)督哈希算法，結(jié)合了無(wú)監(jiān)督哈希算法的正規(guī)化信息以及監(jiān)督算法跨越語(yǔ)義鴻溝的優(yōu)點(diǎn)，從而取得了良好的結(jié)果。但哈希函數(shù)訓(xùn)練過(guò)程因涉及到對(duì)大規(guī)模矩陣運(yùn)算，非常之緩慢，需要一種實(shí)踐技術(shù)加速其訓(xùn)練過(guò)程。
　　隨著并行計(jì)算應(yīng)用的推廣，基于MapReduce模型的Hadoop計(jì)算框架目前得以大范圍使用。但是其計(jì)算模型MapReduce對(duì)于復(fù)雜算法支持有限。而已經(jīng)有研究

2、者考慮理論上如何在MapReduce框架上實(shí)現(xiàn)其他并行計(jì)算模型。HAMA是一個(gè)在Hadoop平臺(tái)基礎(chǔ)上，以BSP并行計(jì)算模型為基礎(chǔ)的計(jì)算框架。
　　針對(duì)上述問(wèn)題，本文開(kāi)展了相關(guān)研究工作，其主要工作與貢獻(xiàn)說(shuō)明如下:
　　1、研究了利用HAMA框架進(jìn)行基于BSP模型的并行計(jì)算程序開(kāi)發(fā)方法，搭建了HAMA平臺(tái)，并且進(jìn)行了其功能性與擴(kuò)展性測(cè)試。測(cè)試實(shí)驗(yàn)結(jié)果表明:節(jié)點(diǎn)任務(wù)個(gè)數(shù)為CPU核數(shù)-1的時(shí)候取得最優(yōu);2節(jié)點(diǎn)集群相比于單節(jié)點(diǎn)效率1

3、.77倍，3節(jié)點(diǎn)集群效率為2.43倍。
　　2、分析半監(jiān)督哈希方法的實(shí)現(xiàn)過(guò)程，針對(duì)其性能瓶頸為調(diào)整相關(guān)矩陣計(jì)算過(guò)程，在HAMA框架基礎(chǔ)上，研究提出一種半監(jiān)督哈希方法并行計(jì)算方法，該方法將調(diào)整相關(guān)矩陣計(jì)算過(guò)程分解為無(wú)監(jiān)督的相關(guān)部分與監(jiān)督性的調(diào)整部分，分別進(jìn)行并行計(jì)算處理。實(shí)驗(yàn)結(jié)果表明，在大規(guī)模數(shù)據(jù)集合上，分布式的并行計(jì)算方法仍然是有效的，可以進(jìn)一步應(yīng)用在海量數(shù)據(jù)處理上。
　　3、針對(duì)海量圖像分布檢索需求，本文提出來(lái)一種基于半監(jiān)