面向工程技術(shù)的主題爬蟲的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)上積累了越來越多的專業(yè)信息。然而，由于Web信息資源的爆炸式增長，傳統(tǒng)的搜索引擎己滿足不了人們對(duì)信息的個(gè)性化檢索需求。針對(duì)不同領(lǐng)域，利用主題爬蟲技術(shù)可以獲取更細(xì)致、更專業(yè)的數(shù)據(jù)。
　　本文在WebMagic框架的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了面向機(jī)器人領(lǐng)域的主題爬蟲，并且改進(jìn)了主題識(shí)別模塊中的樸素貝葉斯分類算法。主要完成了以下三個(gè)方面的工作。第一，通過對(duì)爬蟲框架的大量調(diào)研，選擇WebMagic作為本文的爬蟲框架，對(duì)其進(jìn)

2、行二次開發(fā)，并增加了主題識(shí)別模塊，實(shí)現(xiàn)了Web信息抽取、中文分詞、去除停用詞和特征選擇等功能，最后構(gòu)建了面向機(jī)器人領(lǐng)域的主題爬蟲。第二，比較了不同的文本分類算法，選擇樸素貝葉斯分類算法作為主題識(shí)別模塊中分類器的算法，并分析了該算法的優(yōu)勢和劣勢。第三，為提高樸素貝葉斯算法的二分類性能，結(jié)合了三種改進(jìn)策略對(duì)算法進(jìn)行改進(jìn)：增加放大系數(shù)、對(duì)類別屬性進(jìn)行加權(quán)、增加主題范圍約束參數(shù)。
　　最后，通過對(duì)主題爬蟲與通用爬蟲進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了主題