畢業(yè)論文（設(shè)計(jì)）基于主題的web信息采集技術(shù)研究

1、基于主題的基于主題的Web信息采集技術(shù)研究信息采集技術(shù)研究目錄第一章引言……………………………………………………………………………….11.1背景...11.2本文安排...2第二章Web信息采集概述………………………………………………………………42.1Web信息采集系統(tǒng)的基本原理...42.2Web信息采集系統(tǒng)的基本結(jié)構(gòu)...42.3Web信息采集面臨的主要困難和相應(yīng)的技術(shù)手段:62.4采集系統(tǒng)實(shí)例...8第三章Web信息采集的研究

2、現(xiàn)狀………………………………………………….....113.1基于整個(gè)Web的信息采集...113.2增量式Web信息采集:123.3基于主題的Web信息采集:123.4基于用戶個(gè)性化的Web信息采集...133.5基于Agent的信息采集...143.6遷移的信息采集...153.7基于元搜索的信息采集:153.8小結(jié)...15第四章基于主題的Web信息采集基本問(wèn)題研究…………………………………...174.1基于主題的Web信息采集

3、的定義...174.2基于主題的Web信息采集的優(yōu)點(diǎn)...174.3基于主題的Web信息采集的分類...184.4主題頁(yè)面在Web上的分布特征...194.5相關(guān)性判別算法研究...21第五章基于主題的Web信息采集系統(tǒng)模型及我們的對(duì)策………………………...375.1系統(tǒng)模型...375.2模型中的關(guān)鍵問(wèn)題及我們的策略...37第一章引言1.1背景背景隨著InterIntra的迅速發(fā)展，網(wǎng)絡(luò)正深刻地改變著我們的生活。而在網(wǎng)上發(fā)展最為迅

4、猛的WWW（WldWideWeb）技術(shù)，以其直觀、方便的使用方式和豐富的表達(dá)能力，已逐漸成為Inter上最重要的信息發(fā)布和傳輸方式。隨著信息時(shí)代的到來(lái)和發(fā)展，Web上的信息如雨后春筍般迅速增長(zhǎng)起來(lái)。截止到2000年7月，Inter上的網(wǎng)頁(yè)數(shù)量就已經(jīng)超過(guò)21億，上網(wǎng)用戶超過(guò)3億，而且網(wǎng)頁(yè)還在以每天700萬(wàn)的速度增加[徐澤平2001]。這給人們的生活提供了豐富的資源。然而，Web信息的急速膨脹，在給人們提供豐富信息的同時(shí)，又使人們?cè)趯?duì)它們的

5、有效使用方面面臨一個(gè)巨大的挑戰(zhàn)。一方面網(wǎng)上的信息多種多樣、豐富多彩，而另一方面用戶卻找不到他們所需要的信息。因而基于WWW的網(wǎng)上信息的采集、發(fā)布和相關(guān)的信息處理日益成為人們關(guān)注的焦點(diǎn)。為此，人們發(fā)展了以Web搜索引擎為主的檢索服務(wù)。為了解決網(wǎng)上信息檢索的難題，人們?cè)谛畔z索領(lǐng)域進(jìn)行了大量的研究，開(kāi)發(fā)了各種搜索引擎(如Google、Yahoo)。這些搜索引擎通常使用一個(gè)或多個(gè)采集器從Inter上收集各種數(shù)據(jù)(如WWW、FTP、Email、

6、News)，然后在本地服務(wù)器上為這些數(shù)據(jù)建立索引，當(dāng)用戶檢索時(shí)根據(jù)用戶提交的檢索條件從索引庫(kù)中迅速查找到所需的信息[Bowman1994]。作為這些搜索引擎的基礎(chǔ)和組成部分，Web信息采集正發(fā)揮著舉足輕重的作用，并且隨著應(yīng)用的深化和技術(shù)的發(fā)展，它也越來(lái)越多的應(yīng)用于站點(diǎn)結(jié)構(gòu)分析、頁(yè)面有效性分析、Web圖進(jìn)化、內(nèi)容安全檢測(cè)、用戶興趣挖掘以及個(gè)性化信息獲取等多種服務(wù)和研究中。簡(jiǎn)單說(shuō)，Web信息采集是指通過(guò)Web頁(yè)面之間的鏈接關(guān)系，從Web上自

7、動(dòng)地獲取頁(yè)面信息并且隨著鏈接不斷向所需要的Web頁(yè)面擴(kuò)展的過(guò)程。傳統(tǒng)的Web信息采集的目標(biāo)就是盡可能多地采集信息頁(yè)面，甚至是整個(gè)Web上的資源，而在這一過(guò)程中它并不太在意采集的順序和被采集頁(yè)面的相關(guān)主題。這樣做的一個(gè)極大好處是能夠集中精力在采集的速度和數(shù)量上，并且實(shí)現(xiàn)起來(lái)也相對(duì)簡(jiǎn)單，例如Google采集系統(tǒng)在并行4個(gè)采集器時(shí)的速度可以達(dá)到每秒100頁(yè)，從而它配合搜索引擎給網(wǎng)絡(luò)用戶帶來(lái)了很大的便利。但是，這種傳統(tǒng)的采集方法也存在著很多缺陷