并行計(jì)算平臺(tái)上的數(shù)據(jù)索引技術(shù)研究.pdf

1、隨著計(jì)算機(jī)的普及和網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，數(shù)字化信息爆炸式的增長。信息的產(chǎn)生、傳播、搜集與查詢成為當(dāng)今世界人類最基本生活需求。如何在密集數(shù)據(jù)信息中，為用戶更快、更準(zhǔn)確的索引信息成為亟待解決的問題。與此同時(shí)，人類社會(huì)對(duì)高性能計(jì)算的應(yīng)用需求也在不斷推動(dòng)并行計(jì)算平臺(tái)的普及和提高。數(shù)據(jù)檢索最主要的方法就是構(gòu)建各種適合的索引，并通過對(duì)索引來相對(duì)高效的檢索各類數(shù)據(jù)信息。但是，隨著檢索數(shù)據(jù)和用戶查詢的規(guī)模增大，信息檢索系統(tǒng)要提升處理能力和處理規(guī)模，需要通

2、過對(duì)于并行計(jì)算平臺(tái)的良好應(yīng)用來解決。那么如何充分的利用并行計(jì)算平臺(tái)來提高信息檢索系統(tǒng)的性能，提高系統(tǒng)的處理能力，成為該領(lǐng)域研究的重要問題。
　　 隨著并行計(jì)算平臺(tái)的發(fā)展，將索引應(yīng)用于并行計(jì)算平臺(tái)是一個(gè)必然的趨勢(shì)。本文采用并行計(jì)算“結(jié)構(gòu)—算法—編程—應(yīng)用”一體化的研究方法，圍繞如何解決并行計(jì)算平臺(tái)上的密集數(shù)據(jù)索引系統(tǒng)的運(yùn)行效率、如何完成密集數(shù)據(jù)索引系統(tǒng)從串行到并行的良好過渡、如何實(shí)現(xiàn)密集數(shù)據(jù)索引系統(tǒng)的高效能運(yùn)作等問題展開深入分析研

3、究；良好的解決了此類問題從串行計(jì)算時(shí)代到并行計(jì)算時(shí)代過渡中出現(xiàn)的研究障礙，有助于建立并行計(jì)算的科學(xué)研究體系，增強(qiáng)并行計(jì)算平臺(tái)的實(shí)際應(yīng)用能力。同時(shí)，以并行計(jì)算平臺(tái)上的高維數(shù)據(jù)索引為典型應(yīng)用，分別提出基于并行計(jì)算平臺(tái)的HKD-tree混合索引結(jié)構(gòu)以及基于并行計(jì)算平臺(tái)的時(shí)間序列索引，有效的解決了并行計(jì)算平臺(tái)上的密集數(shù)據(jù)索引問題。另一方面，針對(duì)當(dāng)今密集數(shù)據(jù)檢索系統(tǒng)的關(guān)注熱點(diǎn)，即檢索系統(tǒng)的實(shí)時(shí)性問題和索引的性能和功耗問題開展深入研究。通過改進(jìn)傳統(tǒng)

4、的倒排索引有效的解決并行計(jì)算平臺(tái)上密集數(shù)據(jù)索引系統(tǒng)的實(shí)時(shí)性問題，并在一定程度上實(shí)現(xiàn)了索引過程的高效能。
　　 綜上所述，本文針對(duì)并行計(jì)算平臺(tái)上密集數(shù)據(jù)索引技術(shù)的研究，可以有效地提高密集數(shù)據(jù)索引的運(yùn)行效率和并行性能，充分發(fā)揮并行計(jì)算平臺(tái)的計(jì)算能力，具有一定的學(xué)術(shù)意義和廣泛的應(yīng)用前景。具體而言，本文的主要研究成果、貢獻(xiàn)和創(chuàng)新點(diǎn)可概括為以下幾點(diǎn)：
　　 1.基于并行計(jì)算平臺(tái)提出HKD-tree混合索引結(jié)構(gòu)。該結(jié)構(gòu)將KD-tr

5、ee和LSH兩種索引結(jié)構(gòu)進(jìn)行組合，利用KD-tree作為上層結(jié)構(gòu)的主干而LSH充當(dāng)葉子節(jié)點(diǎn)，從而可以利用多核機(jī)群系統(tǒng)的層次并行結(jié)構(gòu)特性．與傳統(tǒng)的索引結(jié)構(gòu)相比，該混合索引結(jié)構(gòu)具有高效并行處理、可擴(kuò)展性好等特點(diǎn)，適于多核機(jī)群系統(tǒng)平臺(tái)及高維數(shù)據(jù)索引。
　　 2.基于國產(chǎn)并行計(jì)算平臺(tái)KD60提出一種可實(shí)時(shí)更新的倒排索引結(jié)構(gòu)。該方案采用主、輔倒排索引和內(nèi)容過濾索引相結(jié)合的方式，實(shí)現(xiàn)了搜索過程的實(shí)時(shí)性。同時(shí)，我們將其應(yīng)用于高性能綠色計(jì)算平