基于可擴(kuò)展分布式架構(gòu)的高校搜索引擎研究與實(shí)現(xiàn).pdf

1、近年來，高校信息系統(tǒng)的信息量隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，呈爆炸趨勢(shì)增長，它的資源日趨豐富，應(yīng)用范圍也在不斷擴(kuò)大。經(jīng)爬蟲檢測(cè)，從東華大學(xué)網(wǎng)站首頁進(jìn)入可到達(dá)的Web網(wǎng)頁即超過10萬篇，而廣大師生對(duì)信息的需求還不僅如此，校外的精品課程信息、入學(xué)招生信息都可以納入師生的需求范圍。這就增強(qiáng)了高校師生對(duì)搜索技術(shù)的依賴性，搜索引擎成為了師生獲取知識(shí)信息的工具，也成為高校網(wǎng)站中使用率最高的工具之一。
　　 本文結(jié)合東華大學(xué)對(duì)于信息檢索的需求，并考

2、慮到今后快速不斷增加的信息量與訪問量，研究了搜索引擎基本原理與分布式系統(tǒng)基本原理，并基于Linux系統(tǒng)，結(jié)合開源軟件提出了一個(gè)分布式架構(gòu)，這個(gè)架構(gòu)具有很好的可擴(kuò)展性，可隨著用戶數(shù)量和網(wǎng)頁數(shù)量的不斷增加而輕易的擴(kuò)展其系統(tǒng)性能，無需中斷服務(wù)。作為一個(gè)理論與實(shí)踐相結(jié)合的研究課題，本文的主要工作和研究成果包括：
　　 1．搜索引擎基本理論和算法的研究，包括爬蟲的算法和架構(gòu)、中文分詞算法、倒排索引的結(jié)構(gòu)和建立方法、搜索結(jié)果排序算法等。

3、r>　　 2．分布式系統(tǒng)理論研究，包括負(fù)載平衡算法、分布式緩存、MapReduce計(jì)算模型等。
　　 3．提出具有爬蟲子系統(tǒng)、預(yù)處理子系統(tǒng)、查詢子系統(tǒng)的東華大學(xué)搜索引擎架構(gòu)的設(shè)計(jì)方案，其中使用Lucene作為倒排索引的建立和檢索框架，使用中科院ICTLAS組件作為中文分詞工具。著重解決了爬蟲子系統(tǒng)中URL解析和擴(kuò)展隊(duì)列問題、Lucene中文分詞擴(kuò)展問題和搜索結(jié)果的排序評(píng)分算法。
　　 4．提出分布式架構(gòu)的設(shè)計(jì)，包括使用