垂直搜索引擎技術(shù)在網(wǎng)絡(luò)輿情巡控中的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的普及和發(fā)展,網(wǎng)上信息量爆炸式增長(zhǎng)。截至2009年底,中國(guó)互聯(lián)網(wǎng)網(wǎng)民規(guī)模達(dá)到3.84億人,普及率達(dá)到28.9％,全球網(wǎng)站數(shù)量已經(jīng)突破2億,網(wǎng)頁(yè)數(shù)量達(dá)數(shù)百億?；ヂ?lián)網(wǎng)對(duì)人們工作、生活的影響進(jìn)一步加大。網(wǎng)友言論活躍達(dá)到前所未有的程度,不論是國(guó)內(nèi)還是國(guó)際重大事件,都能迅速形成網(wǎng)上輿論,通過(guò)網(wǎng)絡(luò)來(lái)表達(dá)觀點(diǎn)、傳播思想。如何正確把握網(wǎng)絡(luò)輿論動(dòng)態(tài),為科學(xué)決策提供準(zhǔn)確的依據(jù),是互聯(lián)網(wǎng)輿情工作的核心任務(wù)。在如此豐富的web資源中,如何有效的搜索輿

2、情信息是一件困難的事情。專(zhuān)業(yè)化的搜索引擎的開(kāi)發(fā)就是解決這個(gè)問(wèn)題的最好辦法。
　　 垂直搜索引擎?zhèn)仁轻槍?duì)某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價(jià)值的信息和相關(guān)服務(wù),搜索的特點(diǎn)是專(zhuān)、精、深,搜索結(jié)果不會(huì)帶有閑雜信息。普通的網(wǎng)頁(yè)搜索以綜合搜索、橫向搜索為主要特點(diǎn),在滿(mǎn)足搜索信息量大的同時(shí)卻難以兼顧搜索的準(zhǔn)確度與相關(guān)度的質(zhì)量,很難滿(mǎn)足追求精準(zhǔn)的個(gè)性化、專(zhuān)業(yè)化搜索需求。總的來(lái)說(shuō),垂直搜索引擎是針對(duì)某一個(gè)行業(yè)的專(zhuān)業(yè)搜索引擎,是

3、搜索引擎的細(xì)分和延伸。
　　 本文詳細(xì)介紹了垂直搜索引擎的系統(tǒng)結(jié)構(gòu)和功能特點(diǎn),對(duì)垂直搜索引擎技術(shù)用于輿情巡控系統(tǒng)建設(shè)進(jìn)行了論證和改進(jìn),設(shè)計(jì)了適合垂直搜索引擎的網(wǎng)絡(luò)爬蟲(chóng),在對(duì)Heritrix和Lucene進(jìn)行深入分析的基礎(chǔ)上,實(shí)現(xiàn)了一個(gè)高性能,高負(fù)荷,合理、有效,規(guī)范和實(shí)用的具有較好實(shí)用性的網(wǎng)絡(luò)輿情系統(tǒng),實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的快速監(jiān)控。該系統(tǒng)能夠快速監(jiān)控網(wǎng)絡(luò)輿情信息,對(duì)網(wǎng)絡(luò)輿情數(shù)據(jù)和信息進(jìn)行組織整理,存儲(chǔ),加工,索引,方便輿情管理人員完