面向教育輿情的主題網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)逐漸成為大眾獲取各類型信息的主要渠道。同時(shí)當(dāng)今互聯(lián)網(wǎng)信息分類也在不斷進(jìn)行細(xì)化，網(wǎng)絡(luò)信息的主題化也日益明顯。針對(duì)目前通用搜索引擎搜所搜索到的結(jié)果過多，與主題相關(guān)性不強(qiáng)等情況，本文提出設(shè)計(jì)一個(gè)面向教育輿情的的主題網(wǎng)絡(luò)爬蟲，也是主題輿情監(jiān)測(cè)系統(tǒng)的重要組成部分。當(dāng)前主題網(wǎng)絡(luò)爬蟲的研究已成為熱點(diǎn)，但針對(duì)教育輿情的主題網(wǎng)絡(luò)爬蟲研究還較少，因此針對(duì)教育輿情數(shù)據(jù)采集的主題網(wǎng)絡(luò)爬蟲研究是具有一定意義的。
　　本文從當(dāng)前我

2、國(guó)互聯(lián)網(wǎng)教育輿情監(jiān)測(cè)為背景出發(fā)，通過分析當(dāng)前搜索引擎相關(guān)知識(shí)、主題網(wǎng)絡(luò)爬蟲系統(tǒng)的主要工作模式、搜索算法、主題信息識(shí)別等相關(guān)技術(shù)。設(shè)計(jì)了一個(gè)面向教育輿情主題網(wǎng)絡(luò)爬蟲，通過該主題網(wǎng)絡(luò)爬蟲可以對(duì)互聯(lián)網(wǎng)教育輿情信息進(jìn)行高效的采集與識(shí)別。
　　搜索算法是主題網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)之一，因此本文主要對(duì)主題網(wǎng)絡(luò)爬蟲的搜索算法進(jìn)行分析與改進(jìn)，通過對(duì)傳統(tǒng)主題網(wǎng)絡(luò)爬蟲搜索算法的分析，提出了一種基于云計(jì)算平臺(tái)下的主題價(jià)值判斷搜索算法，該算法主要包括了基于云平

3、臺(tái)的搜索任務(wù)調(diào)度算法、基于云節(jié)點(diǎn)下網(wǎng)站搜索算法、基于向量空間模型的主題識(shí)別算法和基于布隆過濾器的去重算法等。并利用了云平臺(tái)的高效性和穩(wěn)定性等特點(diǎn)，將主題網(wǎng)絡(luò)爬蟲的搜索算法與云平臺(tái)相結(jié)合，解決了傳統(tǒng)主題網(wǎng)絡(luò)爬蟲在單機(jī)模式下采集數(shù)據(jù)效率低下的問題。通過對(duì)該主題網(wǎng)絡(luò)爬蟲測(cè)試和相關(guān)實(shí)驗(yàn)數(shù)據(jù)分析表明，改進(jìn)后的搜索算法與傳統(tǒng)的主題網(wǎng)絡(luò)爬蟲搜索算法在采集網(wǎng)頁效率上和搜索、發(fā)現(xiàn)網(wǎng)頁比例上有著明顯的提高。
　　基于以上的研究，在今后的工作中，主要的