面向主題的網(wǎng)頁(yè)資源采集系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人類(lèi)步入了互聯(lián)網(wǎng)時(shí)代，各種資源以互聯(lián)網(wǎng)為載體進(jìn)行匯聚、整合，形成了一個(gè)龐大的信息庫(kù)。在浩如煙海的信息資源中，如何快速、準(zhǔn)確、高效地獲取所需信息是亟待解決的問(wèn)題。
　　搜索引擎作為信息檢索的工具，成為用戶獲取信息的主要方式。然而，傳統(tǒng)的搜索引擎存在著網(wǎng)頁(yè)索引規(guī)模大、更新速度慢以及查詢結(jié)果精度低等缺點(diǎn)，為解決這些突出問(wèn)題，垂直搜索引擎應(yīng)運(yùn)而生。主題信息采集系統(tǒng)作為垂直搜索引擎的重要組成部分，在搜索引擎中占有舉

2、足輕重的地位，并且隨著社會(huì)的發(fā)展、科技的進(jìn)步，其應(yīng)用范圍會(huì)越來(lái)越廣，對(duì)主題網(wǎng)頁(yè)資源采集系統(tǒng)進(jìn)行深入研究具有很深遠(yuǎn)的意義。
　　圍繞構(gòu)建面向主題的網(wǎng)頁(yè)資源采集系統(tǒng)，論文對(duì)主題信息采集涉及到的關(guān)鍵技術(shù)進(jìn)行深入研究，改進(jìn)主題相關(guān)度計(jì)算模型，優(yōu)化URL爬行策略，提出了基于網(wǎng)頁(yè)內(nèi)容和web超鏈接的雙重約束的主題網(wǎng)頁(yè)信息采集算法。
　　本論文的主要工作如下:
　　(1)本文對(duì)web信息抽取技術(shù)進(jìn)行研究，分析了基于自然語(yǔ)言處理、包裝

3、器、Ontology方式、web查詢方法以及DOM樹(shù)形結(jié)構(gòu)的web信息抽取方法，研究了每種方法的優(yōu)缺點(diǎn)，并結(jié)合HTML文檔結(jié)構(gòu)和特點(diǎn)，分析了解析DOM樹(shù)形文檔的工作原理、相關(guān)API接口以及具體解析流程。
　　(2)論文深入探討主題相關(guān)度計(jì)算模型，即布爾模型、向量空間模型和概率檢索模型，深入地研究了各模型的工作原理及實(shí)現(xiàn)機(jī)制，并分析各模型的優(yōu)缺點(diǎn)，為主題相關(guān)度計(jì)算模型的改進(jìn)奠定了堅(jiān)實(shí)的基礎(chǔ)。此外，針對(duì)向量空間模型，具體分析了主題特征

4、詞的權(quán)重計(jì)算方法。
　　(3)本文針對(duì)信息采集過(guò)程中的爬行策略展開(kāi)詳盡的研究，分析了最好優(yōu)先搜索算法、Fish算法以及Shark算法等基于文字內(nèi)容的啟發(fā)式算法，研究各算法實(shí)現(xiàn)原理及工作流程，并分析優(yōu)缺點(diǎn)，同時(shí)基于web有向圖結(jié)構(gòu)，分析了HITS、PageRank、TPR等算法并指出每種算法的優(yōu)劣。
　　(4)論文在分析現(xiàn)有的主題相關(guān)度計(jì)算模型及爬行策略優(yōu)缺點(diǎn)的基礎(chǔ)上，結(jié)合HTML文檔結(jié)構(gòu)，對(duì)向量空間模型進(jìn)行改進(jìn)，同時(shí)考慮網(wǎng)頁(yè)