面向定題領(lǐng)域的事件驅(qū)動(dòng)和協(xié)議驅(qū)動(dòng)的主題爬蟲應(yīng)用研究.pdf

1、網(wǎng)絡(luò)數(shù)據(jù)根據(jù)呈現(xiàn)的結(jié)構(gòu)被分為表層網(wǎng)頁數(shù)據(jù)和深層網(wǎng)頁數(shù)據(jù)，深層網(wǎng)絡(luò)數(shù)據(jù)占網(wǎng)絡(luò)數(shù)據(jù)的大部分。由于通用主題爬蟲注重抽取表層網(wǎng)絡(luò)數(shù)據(jù)，沒有重視深層網(wǎng)頁數(shù)據(jù)的抓取，查全率不高；另外通用爬蟲返回的結(jié)果多而雜亂，且內(nèi)容的準(zhǔn)確率不高。因此，一個(gè)能抓取深層網(wǎng)絡(luò)數(shù)據(jù)的，且返回的網(wǎng)頁數(shù)據(jù)的準(zhǔn)確度能達(dá)到用戶需求的主題爬蟲是當(dāng)前研究課題的主要問題。本文針對定題領(lǐng)域，采用事件驅(qū)動(dòng)模式和協(xié)議驅(qū)動(dòng)模式，結(jié)合定題的主題網(wǎng)頁特征，構(gòu)建定題爬蟲應(yīng)用模型。本文主要工作有：

2、r>　　1.研究了主題爬蟲的相關(guān)理論和相關(guān)算法。探索事件驅(qū)動(dòng)的觸發(fā)方式，提高了傳統(tǒng)主題爬蟲的召回率；提出結(jié)合布爾模型和向量空間模型的方式來計(jì)算主題相關(guān)性，比較了使用布爾模型與使用布爾和向量空間模型結(jié)合的主題相關(guān)性預(yù)測的兩種方式，分析表明后者在定題的相關(guān)性結(jié)果上更準(zhǔn)確。
　　2.提出了基于事件驅(qū)動(dòng)的定題領(lǐng)域的主題爬蟲系統(tǒng)模型，該模型提高了主題爬蟲爬全率。該模型用事件驅(qū)動(dòng)方式抓取深層網(wǎng)頁。在鏈接分析時(shí)使用布隆過濾器去重。在鏈接相關(guān)性預(yù)

3、測時(shí)采用基于鏈接的BM字符串匹配算法結(jié)合主題鏈接特征條件，降低了鏈接匹配和網(wǎng)頁下載的開銷；使用基于向量空間模型的內(nèi)容過濾算法，把匹配到的主題關(guān)鍵字射映到向量空間模型中對應(yīng)的項(xiàng)，提高了鏈接預(yù)測的準(zhǔn)確性。該模型以車型參數(shù)作為定題主題，實(shí)現(xiàn)了該領(lǐng)域信息的自動(dòng)抽取和解析，提高了網(wǎng)頁召回率。
　　3.建立了基于協(xié)議驅(qū)動(dòng)的定題領(lǐng)域的主題爬蟲系統(tǒng)模型，該模型提高了主題爬蟲爬準(zhǔn)率。提出了在特定領(lǐng)域分詞時(shí)采用正向最大字符串匹配法結(jié)合正向主題關(guān)鍵詞特