基于頁(yè)面分析的主題網(wǎng)絡(luò)爬蟲(chóng)的研究.pdf

1、隨著互聯(lián)網(wǎng)上Web資源的迅猛增長(zhǎng)，在龐大的互聯(lián)網(wǎng)上，快速準(zhǔn)確全面地找到與用戶查詢主題相關(guān)的信息變得越來(lái)越難。人們對(duì)檢索質(zhì)量和速度的要求越來(lái)越高，由于傳統(tǒng)的全網(wǎng)網(wǎng)絡(luò)爬蟲(chóng)爬取的主題范圍過(guò)于廣泛，信息的及時(shí)性及與主題的相關(guān)性都無(wú)法保證，導(dǎo)致其檢索結(jié)果的時(shí)效性、準(zhǔn)確性及檢索效率都不盡人意，已滿足不了特定領(lǐng)域用戶的精確搜索的需求。為此，本文展開(kāi)了對(duì)高頁(yè)面時(shí)效性、高內(nèi)容相關(guān)性的主題網(wǎng)絡(luò)爬蟲(chóng)的研究。
　　 本文對(duì)目前存在的網(wǎng)絡(luò)爬蟲(chóng)的種類、原理

2、及發(fā)展?fàn)顩r進(jìn)行了研究，對(duì)比分析了通用爬蟲(chóng)和主題爬蟲(chóng)的結(jié)構(gòu)及工作原理，展示了主題網(wǎng)絡(luò)爬蟲(chóng)的各項(xiàng)優(yōu)勢(shì)。本文通過(guò)對(duì)《知網(wǎng)》的語(yǔ)義分析及語(yǔ)義相關(guān)性理論的研究和對(duì)傳統(tǒng)向量空間模型的分析，針對(duì)原有的頁(yè)面內(nèi)容與主題的相關(guān)性判定算法存在的缺陷，提出了一種基于頁(yè)面分析的主題網(wǎng)絡(luò)爬蟲(chóng)。該主題爬蟲(chóng)摒棄了傳統(tǒng)主題爬蟲(chóng)在關(guān)于頁(yè)面與主題相關(guān)性判定所采用的傳統(tǒng)向量空間模型算法，采用了結(jié)合《知網(wǎng)》提出的具有語(yǔ)義分析功能的基于Web頁(yè)面特點(diǎn)的改進(jìn)向量空間模型算法，實(shí)驗(yàn)表

3、明該模型在進(jìn)行頁(yè)面內(nèi)容與主題相關(guān)性判定過(guò)程中起到了有效作用。
　　 本文的重點(diǎn)是研究基于頁(yè)面分析的主題網(wǎng)絡(luò)爬蟲(chóng)的頁(yè)面過(guò)濾算法。它采用《知網(wǎng)》語(yǔ)義分析技術(shù)和向量空間模型相結(jié)合的方法對(duì)傳統(tǒng)的頁(yè)面與主題相關(guān)性判定算法——向量空間模型(VSM)進(jìn)行改進(jìn)。改進(jìn)后的算法利用《知網(wǎng)》進(jìn)行詞義消歧，相關(guān)度計(jì)算以及主題文本義原集的提取，同時(shí)考慮到Web網(wǎng)頁(yè)的半結(jié)構(gòu)化特點(diǎn)，即Web網(wǎng)頁(yè)上不同位置的文本特征項(xiàng)對(duì)整個(gè)Web頁(yè)面主題內(nèi)容的表達(dá)能力是不同的