基于事件驅(qū)動(dòng)模型的搜索引擎的研究及原型系統(tǒng)設(shè)計(jì).pdf

1、自因特網(wǎng)誕生以來,網(wǎng)絡(luò)信息以迅猛的速度爆炸似的增長(zhǎng),從傳統(tǒng)的通用搜索引擎到個(gè)性化服務(wù)的搜索引擎,其技術(shù)和服務(wù)理念都有了很大的發(fā)展,然而在一些領(lǐng)域仍然有很大的發(fā)展余地,尤其是在查詢結(jié)果的精度、無用戶日志記錄的個(gè)性化服務(wù)和用戶的隨機(jī)性關(guān)注主題的獲取方面還有很大的研究和發(fā)展空間,論文的主要目的就是解決四方面的問題:一是無用戶日志記錄的個(gè)性化推薦技術(shù),二是用戶的隨機(jī)性關(guān)注主題的獲取與表示,三是用戶對(duì)文檔關(guān)注程度的分析,四是進(jìn)一步提高搜索引擎返回

2、結(jié)果的精度。
　　 首先,介紹了傳統(tǒng)搜索引擎的與個(gè)性化服務(wù)的搜索引擎的工作原理、體系結(jié)構(gòu)和主要技術(shù),以及現(xiàn)有的個(gè)性化過濾技術(shù)本身的缺陷;其次,研究了搜索引擎其他相關(guān)理論和技術(shù),如網(wǎng)絡(luò)爬蟲的工作原理、中文分詞技術(shù)的原理,如機(jī)械匹配的分詞方法、最大概率分詞和Lucene的中文分詞等,建立倒排索引的原理,檢索技術(shù)(布爾邏輯模型、空間向量模型和概率模型等)以及頁面排序技術(shù)(PageRank和權(quán)威中心頁面算法),為后面原型系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)

3、提供理論基礎(chǔ);然后,對(duì)基于事件驅(qū)動(dòng)模型的搜索引擎的主要算法進(jìn)行了詳細(xì)闡述,提出了基于用戶在頁面的停留時(shí)間來分析用戶對(duì)打開頁面的關(guān)注程度的算法,在獲取用戶的隨機(jī)關(guān)注主題以后,根據(jù)用戶對(duì)頁面的關(guān)注程度的算法,計(jì)算用戶對(duì)當(dāng)前主題的關(guān)注程度,決定是否進(jìn)行異步更新與該主題相關(guān)的信息,從而實(shí)現(xiàn)無用戶日志記錄存儲(chǔ)的個(gè)性化推薦技術(shù);另外,結(jié)合Html文檔的結(jié)構(gòu)和中文文章的寫作習(xí)慣,對(duì)關(guān)鍵詞的權(quán)重計(jì)算方式進(jìn)行改進(jìn),以更加精確的表達(dá)文檔的主題特征,從而提高

4、搜索引擎的檢準(zhǔn)率;最后設(shè)計(jì)了基于事件驅(qū)動(dòng)模型的搜索引擎的系統(tǒng)原型,并使用Java和Lucent2.3技術(shù)實(shí)現(xiàn)了所設(shè)計(jì)系統(tǒng)的原型,主要有索引器、檢索器、過濾器、主題分析器和計(jì)時(shí)器。
　　 通過采用Heritrix搭建和改造網(wǎng)絡(luò)爬蟲來獲取網(wǎng)絡(luò)資源與實(shí)現(xiàn)的系統(tǒng)原型,驗(yàn)證了所設(shè)計(jì)系統(tǒng)的可行性(包括隨機(jī)關(guān)注主題的獲取和用戶對(duì)打開文檔的關(guān)注程度的分析),并且對(duì)改進(jìn)的關(guān)鍵詞權(quán)重計(jì)算算法進(jìn)行驗(yàn)證,充分說明了改進(jìn)的算法有助于搜索引擎檢準(zhǔn)率的提高。