基于多核并行的全文檢索動態(tài)后繼樹模型相關(guān)算法研究.pdf

1、隨著多核處理器的快速普及，廣大的程序開發(fā)者們面臨著極大的機遇與挑戰(zhàn)。在過去，由于缺乏并行開發(fā)的環(huán)境，大多數(shù)的開發(fā)者們通常只能在單核單線程的平臺上進(jìn)行程序開發(fā)，所以在大多數(shù)情況下是不會考慮程序的并發(fā)執(zhí)行問題。但是，隨著時間的推移，可以預(yù)見單核處理器在不久即將淡出人們的生活，多核處理器在近年來取得極大發(fā)展和普及，大多數(shù)開發(fā)者們都擁有了多核開發(fā)環(huán)境，在進(jìn)行程序開發(fā)的時候，如果再不考慮程序的并行執(zhí)行相關(guān)問題，將不能發(fā)揮多核平臺擁有多線程并行執(zhí)行

2、能力的特點，不能進(jìn)一步的提高程序的運行效率。
　　 除此之外，伴隨著互聯(lián)網(wǎng)普及速度的進(jìn)一步加快，搜索引擎成為了互聯(lián)網(wǎng)上最受歡迎的應(yīng)用之一，而搜索引擎就是全文檢索系統(tǒng)的一個常見應(yīng)用。伴隨著多核平臺的普及以及硬件價格的下降，建立適用于行業(yè)特色的檢索系統(tǒng)將不再是一件遙不可及的事情。而過去對于全文檢索索引模型的研究主要是通過對于索引結(jié)構(gòu)的修改來提高索引的性能，而本文則希望通過另一種思路，通過對全文檢索系統(tǒng)中動態(tài)后繼樹索引模型相關(guān)算法進(jìn)行

3、基于多核平臺的并行化改進(jìn)，從而提高索引生成以及檢索的效率，本文主要從事了以下工作:
　　 1、研究多核處理器的主要特點以及在進(jìn)行多核編程的時候會遇到的問題;比較了多核平臺并行運算與傳統(tǒng)的多機分布式并行運算的不同，以此來作為進(jìn)行算法并行化研究的指導(dǎo)。
　　 2、分析研究全文檢索系統(tǒng)中不同的索引結(jié)構(gòu)及特點，并與動態(tài)后繼樹索引進(jìn)行比較，從生成速度、檢索效率以及更新的復(fù)雜度等角度出發(fā)，選擇了動態(tài)后繼樹索引進(jìn)行算法的相關(guān)研究。

4、r>　　 3、結(jié)合多核編程的特點，研究了動態(tài)后繼樹索引創(chuàng)建算法的任務(wù)分配方法，在每個線程擁有各自私有內(nèi)存空間的基礎(chǔ)上，通過任務(wù)分配管理分配不同的對象，讓每個并行線程都能以最合理的工作方式工作，最大程度發(fā)揮程序的并行性能。通過在原始索引結(jié)構(gòu)創(chuàng)建算法的基礎(chǔ)上，加入OpenMP指導(dǎo)語句以實現(xiàn)程序的并行化
　　 4、分析了動態(tài)后繼樹的檢索算法的特點，在多分詞查找算法中加入OpenMP指導(dǎo)語句，研究了更適合多核平臺的檢索算法。