桌面搜索引擎的研究與實(shí)現(xiàn).pdf

1、針對傳統(tǒng)意義上的搜索引擎和新近提出的桌面搜索的概念，本文提出一整套的搜索引擎從客戶端到服務(wù)端的實(shí)現(xiàn)方案，并予以實(shí)現(xiàn)。此方案包括網(wǎng)絡(luò)蜘蛛、多線程下載器、UNICODE文件存儲模塊、HTML/XML語法解析器、分詞系統(tǒng)、散列二級索引數(shù)據(jù)庫、WebService、Pagerank(網(wǎng)頁排名)、劃詞搜索。 網(wǎng)絡(luò)蜘蛛也就是Spider，負(fù)責(zé)將網(wǎng)絡(luò)上的各種鏈接信息，包括普通網(wǎng)頁信息、辦公資源、圖片資料和音樂視頻資源和flash動畫，網(wǎng)絡(luò)蜘蛛

2、把它們的URL地址及相關(guān)信息(如更新時(shí)間、來源網(wǎng)站)存進(jìn)數(shù)據(jù)庫，并將所有URL的鏈接情況記錄下來，以等待后面的Pagerank模塊調(diào)用。 多線程下載器將URL下載為文件后，用UNICODE更名機(jī)制存到本地硬盤。 HTML/XML語法解析器負(fù)責(zé)將已經(jīng)存好的HTML文檔解析，剔除無用的HTML標(biāo)識，并根據(jù)有用的HTML標(biāo)識將文本重新組織為XML。 分詞則負(fù)責(zé)將英文和中文段落進(jìn)行詞分割。 散列二級索引數(shù)據(jù)庫是根

3、據(jù)分詞的結(jié)果，建立從詞到URL和從URL到詞的兩個(gè)查詢數(shù)據(jù)庫。 而WebService則是用于用戶交互的網(wǎng)絡(luò)服務(wù)，負(fù)責(zé)響應(yīng)用戶的查詢請求，并調(diào)用已經(jīng)建立好的索引數(shù)據(jù)庫返回查詢結(jié)果。 Pagerank利用網(wǎng)絡(luò)蜘蛛創(chuàng)建好的鏈接信息，采用被二維線性收斂方法增強(qiáng)的冪法，計(jì)算每個(gè)URL的網(wǎng)絡(luò)排名。 劃詞搜索是運(yùn)行在客戶端，能夠監(jiān)視用戶的劃詞動作并快速返回其要搜索的關(guān)鍵詞查詢結(jié)果。 論文首先介紹了課題涉及到的主要理論