基于多核并行的全文檢索動(dòng)態(tài)后繼樹(shù)模型相關(guān)算法研究.pdf

1、隨著多核處理器的快速普及，廣大的程序開(kāi)發(fā)者們面臨著極大的機(jī)遇與挑戰(zhàn)。在過(guò)去，由于缺乏并行開(kāi)發(fā)的環(huán)境，大多數(shù)的開(kāi)發(fā)者們通常只能在單核單線程的平臺(tái)上進(jìn)行程序開(kāi)發(fā)，所以在大多數(shù)情況下是不會(huì)考慮程序的并發(fā)執(zhí)行問(wèn)題。但是，隨著時(shí)間的推移，可以預(yù)見(jiàn)單核處理器在不久即將淡出人們的生活，多核處理器在近年來(lái)取得極大發(fā)展和普及，大多數(shù)開(kāi)發(fā)者們都擁有了多核開(kāi)發(fā)環(huán)境，在進(jìn)行程序開(kāi)發(fā)的時(shí)候，如果再不考慮程序的并行執(zhí)行相關(guān)問(wèn)題，將不能發(fā)揮多核平臺(tái)擁有多線程并行執(zhí)行

2、能力的特點(diǎn)，不能進(jìn)一步的提高程序的運(yùn)行效率。
　　 除此之外，伴隨著互聯(lián)網(wǎng)普及速度的進(jìn)一步加快，搜索引擎成為了互聯(lián)網(wǎng)上最受歡迎的應(yīng)用之一，而搜索引擎就是全文檢索系統(tǒng)的一個(gè)常見(jiàn)應(yīng)用。伴隨著多核平臺(tái)的普及以及硬件價(jià)格的下降，建立適用于行業(yè)特色的檢索系統(tǒng)將不再是一件遙不可及的事情。而過(guò)去對(duì)于全文檢索索引模型的研究主要是通過(guò)對(duì)于索引結(jié)構(gòu)的修改來(lái)提高索引的性能，而本文則希望通過(guò)另一種思路，通過(guò)對(duì)全文檢索系統(tǒng)中動(dòng)態(tài)后繼樹(shù)索引模型相關(guān)算法進(jìn)行

3、基于多核平臺(tái)的并行化改進(jìn)，從而提高索引生成以及檢索的效率，本文主要從事了以下工作:
　　 1、研究多核處理器的主要特點(diǎn)以及在進(jìn)行多核編程的時(shí)候會(huì)遇到的問(wèn)題;比較了多核平臺(tái)并行運(yùn)算與傳統(tǒng)的多機(jī)分布式并行運(yùn)算的不同，以此來(lái)作為進(jìn)行算法并行化研究的指導(dǎo)。
　　 2、分析研究全文檢索系統(tǒng)中不同的索引結(jié)構(gòu)及特點(diǎn)，并與動(dòng)態(tài)后繼樹(shù)索引進(jìn)行比較，從生成速度、檢索效率以及更新的復(fù)雜度等角度出發(fā)，選擇了動(dòng)態(tài)后繼樹(shù)索引進(jìn)行算法的相關(guān)研究。

4、r>　　 3、結(jié)合多核編程的特點(diǎn)，研究了動(dòng)態(tài)后繼樹(shù)索引創(chuàng)建算法的任務(wù)分配方法，在每個(gè)線程擁有各自私有內(nèi)存空間的基礎(chǔ)上，通過(guò)任務(wù)分配管理分配不同的對(duì)象，讓每個(gè)并行線程都能以最合理的工作方式工作，最大程度發(fā)揮程序的并行性能。通過(guò)在原始索引結(jié)構(gòu)創(chuàng)建算法的基礎(chǔ)上，加入OpenMP指導(dǎo)語(yǔ)句以實(shí)現(xiàn)程序的并行化
　　 4、分析了動(dòng)態(tài)后繼樹(shù)的檢索算法的特點(diǎn)，在多分詞查找算法中加入OpenMP指導(dǎo)語(yǔ)句，研究了更適合多核平臺(tái)的檢索算法。