就業(yè)垂直搜索引擎的架構(gòu)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)在近幾十年內(nèi)飛速發(fā)展，網(wǎng)絡(luò)上的信息量爆炸式的增長(zhǎng)，如何從這些海量信息中快速準(zhǔn)確地提取有價(jià)值的信息已經(jīng)成為人們關(guān)注的焦點(diǎn)。通用搜索引擎通過(guò)將互聯(lián)網(wǎng)上大量的信息整理在一個(gè)平臺(tái)上供用戶使用，極大的提高了瀏覽和工作效率，但是存在網(wǎng)頁(yè)失效以及知識(shí)過(guò)載的問(wèn)題。而基于“專、精、深”設(shè)計(jì)的垂直搜索引擎，從一定程度上解決上上述問(wèn)題。它實(shí)現(xiàn)了搜索引擎領(lǐng)域的行業(yè)化分工，為特定領(lǐng)域有特殊需求的人群提供了有價(jià)值的信息和服務(wù)。近幾年來(lái)就業(yè)問(wèn)題已經(jīng)稱為亟待解決

2、的一個(gè)重要問(wèn)題，通過(guò)便利的通道及時(shí)的獲取招聘就業(yè)信息，必將從一定程度上加大畢業(yè)生就業(yè)的可能。
　　 本文針對(duì)這種就業(yè)形勢(shì)并基于垂直搜索引擎的理念設(shè)計(jì)并實(shí)現(xiàn)了就業(yè)垂直搜索引擎。本論文對(duì)搜索引擎以及垂直搜索引擎進(jìn)行了理論性的分析，介紹了其實(shí)現(xiàn)原理以及主要分類，闡述了當(dāng)前搜索引擎存在的主要缺點(diǎn)以及垂直搜索引擎的特點(diǎn)，并具體介紹了垂直搜索引擎在設(shè)計(jì)實(shí)現(xiàn)過(guò)程中涉及的關(guān)鍵技術(shù)，Lucene架構(gòu)以及實(shí)現(xiàn)機(jī)制以及垂直搜索引擎相關(guān)頁(yè)面設(shè)計(jì)。在信息

3、采集模塊，設(shè)計(jì)了列表頁(yè)爬蟲(chóng)和信息頁(yè)爬蟲(chóng)兩種聚焦網(wǎng)絡(luò)爬蟲(chóng)。在信息抽取模塊，采用了基于標(biāo)簽的網(wǎng)頁(yè)去噪算法實(shí)現(xiàn)對(duì)正文的提取，并設(shè)計(jì)了基于模版及字典的結(jié)構(gòu)化信息抽取算法。利用Lucene框架實(shí)現(xiàn)了對(duì)職位信息的索引和檢索。本系統(tǒng)設(shè)計(jì)目標(biāo)為:專注于就業(yè)，為求職者提供及時(shí)有效的職位信息。
　　 最后，基于對(duì)垂直搜索引擎的關(guān)鍵技術(shù)的探究，設(shè)計(jì)了就業(yè)垂直搜索引擎，并給出原型系統(tǒng)。其中詳細(xì)的介紹了信息采集、信息抽取及信息索引檢索模塊的具體實(shí)現(xiàn)過(guò)程。