移動元搜索引擎的設(shè)計與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)在人們工作、生活中的日益滲透以及互聯(lián)網(wǎng)海量信息的飛速膨脹,催生了互聯(lián)網(wǎng)搜索業(yè)務(wù)的誕生以及搜索引擎技術(shù)的發(fā)展。然而,現(xiàn)存的傳統(tǒng)搜索引擎雖然部分解決了人們的信息搜索問題,但人們經(jīng)常會發(fā)現(xiàn)難以找到自己所需要的信息,這就是傳統(tǒng)搜索引擎自身的局限性。元搜索引擎的出現(xiàn)與應(yīng)用,通過對多個成員搜索引擎的調(diào)用,提高了搜索的查全率,較好地解決了這一問題。移動互聯(lián)網(wǎng)近幾年在中國發(fā)展迅速,預(yù)示著利用移動設(shè)備進(jìn)行搜索也逐漸成為主流。但是為移動設(shè)備設(shè)計的

2、搜索引擎并不是很多,而且網(wǎng)絡(luò)流量的價格居高不下,以及移動設(shè)備屏幕較小,計算能力有限等局限性,使得用戶不能充分使用移動搜索。
　　 本文針對以上出現(xiàn)的問題提出了相關(guān)的解決方案,首先研究了搜索引擎,包括傳統(tǒng)搜索引擎和移動元搜索引的發(fā)展現(xiàn)狀及相關(guān)知識等,并對移動元搜索引擎中的頁面內(nèi)容提取算法和搜索結(jié)果排序算法進(jìn)行了研究。通過建立移動元搜索引擎M-Meta,將頁面內(nèi)容提取算法和結(jié)果排序算法應(yīng)用其中,方便移動設(shè)備用戶的搜索。
　　

3、 本文在基于視覺分割算法VIPS的基礎(chǔ)上提出了用來提取網(wǎng)頁主要內(nèi)容的頁面內(nèi)容提取算法WEAV(Web—page Extraction Algorithm Based on VIPS),該算法利用VIPS對HTML文件處理得到的語義塊,對網(wǎng)頁進(jìn)行分類,提取出合適的網(wǎng)頁內(nèi)容返回給用戶,提高了用戶的檢索速度,減少網(wǎng)絡(luò)的流量消耗。為了比較該算法的優(yōu)劣性,通過實(shí)驗(yàn)數(shù)據(jù),將其與其他兩種頁面內(nèi)容提取算法(包括基于HTML標(biāo)簽匹配的頁面內(nèi)容提取算法和基

4、于XML、DOM樹和XSLT的頁面內(nèi)容提取算法)進(jìn)行了比較。
　　 本文對個成員搜索引擎返回的結(jié)果進(jìn)行重新排序,在基于位置的加權(quán)排序算法的基礎(chǔ)上對其改進(jìn),提出了基于位置加權(quán)的摘要排序算法,為不同成員搜索引擎賦予不同權(quán)值,充分利用搜索結(jié)果在成員搜索引擎中的位置信息以及搜索關(guān)鍵字與搜索結(jié)果摘要部分的關(guān)系,得到移動元搜索引擎的最終搜索結(jié)果排序。通過實(shí)驗(yàn)結(jié)果顯示,該算法可以很好的提高搜索結(jié)果的查準(zhǔn)率。
　　 本文最后論述移動元搜

5、索引擎M—Meta的結(jié)構(gòu)及建立過程。M—Meta不僅將普通搜索引擎作為成員搜索引擎,還將移動搜索引擎作為成員搜索引擎,從成員搜索引擎獲取信息來源,通過搜索引擎接口代理將搜索關(guān)鍵字轉(zhuǎn)化成適合各個成員搜索引擎的搜索格式,并利用多線程技術(shù)分發(fā)搜索命令；M-Meta得到各個成員搜索引擎返回的結(jié)果后,對搜索結(jié)果去除重復(fù)記錄,去除死鏈接,并利用基于位置加權(quán)的摘要排序算法對搜索結(jié)果重新排序,并將結(jié)果分頁顯示；當(dāng)用戶點(diǎn)擊某條記錄時,通過頁面重定向機(jī)制,