基于用戶ID的智能網(wǎng)絡(luò)爬蟲研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，全球信息總量與日俱增，隨著移動互聯(lián)網(wǎng)的興起，這種發(fā)展趨勢將更加迅猛。人物信息捜索系統(tǒng)是專門為解決互聯(lián)網(wǎng)人物捜索難題而產(chǎn)生的搜索系統(tǒng)?，F(xiàn)有的人物捜索系統(tǒng)對于名人等公眾人物具有很好的效果，而且是針對人物的真實姓名，但是對于非知名的現(xiàn)實生活中的一般人物、只有網(wǎng)絡(luò)昵稱的人物等人物信息搜索卻顯得無能為力。
　　本文中主要研究了主題爬蟲的相關(guān)技術(shù)，以及社交網(wǎng)絡(luò)中的數(shù)據(jù)獲取技術(shù)。在上述相關(guān)技術(shù)研究的基礎(chǔ)上，結(jié)合人物信息收集

2、的應(yīng)用場景，本文提出了基于用戶ID的智能網(wǎng)絡(luò)爬蟲系統(tǒng)，從用戶給出的目標(biāo)人物ID為觸發(fā)條件，收集與目標(biāo)人物信息相關(guān)頁面數(shù)據(jù)。本文研究的智能網(wǎng)絡(luò)爬蟲是對傳統(tǒng)的主題爬蟲的改進(jìn)，引入了主題特征自動擴(kuò)展的功能?？紤]社交網(wǎng)絡(luò)對于人物信息收集的巨大價值，通過對社交網(wǎng)站中數(shù)據(jù)獲取方式的研究，利用社交網(wǎng)絡(luò)數(shù)據(jù)獲取的相關(guān)技術(shù)增強(qiáng)了本爬蟲對于社交網(wǎng)絡(luò)中數(shù)據(jù)的獲取能力。
　　本文設(shè)計和實現(xiàn)了本文中研究方案的實驗系統(tǒng)，并進(jìn)行了主要模塊和系統(tǒng)整體測試，以及實