基于Nutch的職位信息搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)資源迅速膨脹，通用搜索引擎技術(shù)能根據(jù)用戶的需要搜索出結(jié)果，而在茫茫查詢結(jié)果中迅速找到用戶需要的內(nèi)容變得越來越難，它雖然能滿足人們的查全率，但查準(zhǔn)率和查詢效率比較低;當(dāng)用戶明確搜索信息的主題或領(lǐng)域時(shí)，面向主題信息的搜索引擎能大大縮小查詢的范圍，從而能大大提高搜索結(jié)果的查全率和查準(zhǔn)率，因此，針對特定主題的搜索引擎技術(shù)受到了人們的廣泛關(guān)注，并成為了搜索引擎的一個(gè)重要研究方向。
　　本文綜述主題搜索引擎的研究背景

2、及意義，并分析國內(nèi)外研究現(xiàn)狀，簡單介紹了搜索引擎技術(shù)，在已有的技術(shù)上重點(diǎn)探討主題信息提取技術(shù)，并以開源技術(shù)Nutch為依托，提出基于Nutch的職位信息搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，主要的工作如下:
　　(1)對搜索引擎技術(shù)的原理、一般架構(gòu)以及開源技術(shù)Nutch的詳細(xì)研究后，針對職位信息搜索引擎系統(tǒng)，進(jìn)行系統(tǒng)需求分析，以便明確系統(tǒng)的實(shí)現(xiàn)目標(biāo);根據(jù)需求進(jìn)行系統(tǒng)架構(gòu)的設(shè)計(jì)，針對Nutch網(wǎng)絡(luò)爬蟲無法對網(wǎng)頁進(jìn)行選擇和過濾這一缺點(diǎn)，對Nutch網(wǎng)

3、絡(luò)爬蟲進(jìn)行模塊改造，然后根據(jù)系統(tǒng)的架構(gòu)對每個(gè)功能模塊進(jìn)行詳細(xì)的設(shè)計(jì)。
　　(2)分別從網(wǎng)頁爬取模塊、主題信息提取模塊、索引模塊和搜索結(jié)果展示模塊四個(gè)功能模塊設(shè)計(jì)和實(shí)現(xiàn)職位信息搜索引擎系統(tǒng)，其中，針對職位信息的主題信息提取模塊，本文設(shè)計(jì)了基于位置權(quán)重統(tǒng)計(jì)網(wǎng)頁詞頻的主題網(wǎng)頁提取算法，根據(jù)不同位置不同權(quán)重統(tǒng)計(jì)網(wǎng)頁中各個(gè)詞條的詞頻，采用修正高階詞頻變差方法確定網(wǎng)頁關(guān)鍵詞，并采用空間向量模型(VSM)余弦方法計(jì)算網(wǎng)頁的關(guān)鍵詞與主題詞庫的相關(guān)