基于Nutch的食品安全信息垂直搜索引擎研究.pdf

1、互聯(lián)網(wǎng)信息過(guò)載導(dǎo)致人們?cè)絹?lái)越倚重搜索引擎,面向特定領(lǐng)域或?qū)W科的垂直搜索引擎是搜索技術(shù)的細(xì)化和拓展,它針對(duì)特定用戶(hù)提供垂直搜索。當(dāng)前在食品安全領(lǐng)域,食品安全信息的獲取基本靠百度谷歌等通用搜索引擎查詢(xún),無(wú)法滿(mǎn)足用戶(hù)對(duì)于快速、準(zhǔn)確查找信息的需求。針對(duì)食品安全主題為用戶(hù)提供查詢(xún)的相關(guān)研究還不是很多。本文針對(duì)通用搜索引擎不能滿(mǎn)足用戶(hù)對(duì)于食品安全信息領(lǐng)域的問(wèn)題,研究設(shè)計(jì)基于食品安全信息主題的垂直搜索引擎。
　　本文針對(duì)食品安全信息主題,做了如

2、下研究和創(chuàng)新:
　　(1)網(wǎng)頁(yè)排序算法是搜索引擎好壞的關(guān)鍵,搜索引擎的結(jié)果排序算法是從雜亂無(wú)章的海量數(shù)據(jù)庫(kù)中把與查詢(xún)?cè)~主題相關(guān)的頁(yè)面按權(quán)威度排序,幫助用戶(hù)快速找到所需信息。開(kāi)源搜索引擎Nutch只實(shí)現(xiàn)了一個(gè)基本的綜合排序模型,不能滿(mǎn)足專(zhuān)業(yè)用戶(hù)對(duì)于特定領(lǐng)域的需求。本文改進(jìn)了PageRank算法并把改進(jìn)后的算法加入到Nutch的排序模型之中,使其更具主題傾向性。算法的改進(jìn)包括:根據(jù)出鏈站點(diǎn)的不同對(duì)權(quán)值進(jìn)行差異化分配;加入時(shí)間衰減因子降

3、低陳舊網(wǎng)頁(yè)的評(píng)分;結(jié)合頁(yè)面鏈接關(guān)系和頁(yè)面內(nèi)容主題相關(guān)性來(lái)建立網(wǎng)頁(yè)排序模型。實(shí)驗(yàn)表明改進(jìn)的排序算法可以提高信息的查準(zhǔn)率,具有明顯的主題傾向性,在實(shí)際應(yīng)用中發(fā)揮作用。
　　(2)研究主題爬蟲(chóng)的基本原理和重要技術(shù),提出了一個(gè)針對(duì)食品安全領(lǐng)域的爬蟲(chóng)模型。其中的關(guān)鍵技術(shù)包括:通過(guò)人工專(zhuān)家和搜索引擎相結(jié)合的方式選擇初始URL種子;通過(guò)訓(xùn)練文本進(jìn)行關(guān)鍵詞抽取來(lái)構(gòu)建食品安全信息主題詞庫(kù);應(yīng)用向量空間模型判斷主題的相關(guān)性。
　　(3)結(jié)合上述