爬蟲(chóng)算法在互聯(lián)網(wǎng)輿情系統(tǒng)的研究與應(yīng)用.pdf

1、隨著科技的不斷進(jìn)步，人類(lèi)已經(jīng)進(jìn)入了一個(gè)全新的“信息時(shí)代”。互聯(lián)網(wǎng)已經(jīng)成為了當(dāng)前主流的信息載體之一。面對(duì)互聯(lián)網(wǎng)上的大量輿情信息，如何實(shí)現(xiàn)對(duì)其進(jìn)行有效的監(jiān)控和篩選也成為了研究重點(diǎn)。由于通用搜索引擎無(wú)法滿足特定用戶群體的搜索需要，針對(duì)特定主題的主題爬蟲(chóng)應(yīng)運(yùn)而生，主題爬蟲(chóng)也為互聯(lián)網(wǎng)輿情系統(tǒng)中的垂直搜索部分提供了數(shù)據(jù)來(lái)源。
　　本文以國(guó)內(nèi)外的現(xiàn)有研究成果為依據(jù)，通過(guò)分析當(dāng)前互聯(lián)網(wǎng)輿情環(huán)境，設(shè)計(jì)了互聯(lián)網(wǎng)輿情系統(tǒng)，并針對(duì)其中的主題爬蟲(chóng)進(jìn)行了研究

2、設(shè)計(jì)。對(duì)影響主題爬蟲(chóng)性能的關(guān)鍵性算法進(jìn)行了研究改進(jìn)，并在系統(tǒng)中完成了主題爬蟲(chóng)的實(shí)現(xiàn)。本文完成的主要研究?jī)?nèi)容如下：
　　1)分析了主題爬蟲(chóng)性能對(duì)比通用爬蟲(chóng)的優(yōu)勢(shì)，對(duì)其搜索策略和網(wǎng)頁(yè)評(píng)價(jià)算法進(jìn)行研究，根據(jù)比較選擇了最佳優(yōu)先策略作為其搜索策略，并通過(guò)建立向量空間模型來(lái)對(duì)網(wǎng)頁(yè)進(jìn)行評(píng)價(jià)。同時(shí)研究了主題孤島和拒絕協(xié)議兩大關(guān)鍵問(wèn)題，在此基礎(chǔ)上對(duì)本文中使用的主題爬蟲(chóng)進(jìn)行了結(jié)構(gòu)設(shè)計(jì)；
　　2)分析了當(dāng)前網(wǎng)絡(luò)輿情環(huán)境特點(diǎn)，針對(duì)這些特點(diǎn)進(jìn)行需求分

3、析，根據(jù)得到的需求進(jìn)行互聯(lián)網(wǎng)輿情系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)；
　　3)給出了主題爬蟲(chóng)在互聯(lián)網(wǎng)輿情系統(tǒng)中的具體實(shí)現(xiàn)，包括抓取策略、分析策略、爬行策略、去重策略和任務(wù)調(diào)度策略，對(duì)抓取時(shí)的主題庫(kù)更新問(wèn)題提出了動(dòng)態(tài)擴(kuò)充的解決辦法，并針對(duì)網(wǎng)頁(yè)去重I-Match算法和任務(wù)調(diào)度Hash算法中的不足進(jìn)行了設(shè)計(jì)改進(jìn)，改用了一致性Hash算法進(jìn)行任務(wù)調(diào)度，最后對(duì)系統(tǒng)進(jìn)行了測(cè)試。
　　本文設(shè)計(jì)的主題爬蟲(chóng)綜合了主題庫(kù)改進(jìn)策略和算法改進(jìn)，從整體方面提升爬蟲(chóng)性能。