基于XML的網(wǎng)上信息自動收集系統(tǒng)的設計與實現(xiàn).pdf

1、根據(jù)某一類用戶的需求所進行的Web信息收集，主要包括兩個過程：從互聯(lián)網(wǎng)海量信息中搜索信息以及對Web頁面的信息抽取?；谥黝}的Web信息搜索、基于強化學習的Web搜索等智能搜索方法在提供個性化信息服務方面取得了顯著進展，但沒有充分利用搜索過程中網(wǎng)頁與網(wǎng)頁、網(wǎng)頁與鏈接，以及鏈接與鏈接之間相互關聯(lián)與約束的有關知識，因而無法更有效地提高搜索的效率和準確性。為了有效抽取網(wǎng)頁中的有用信息，提出的網(wǎng)頁信息抽取方法，主要是基于Wrapper技術或引入

2、更加結構化的數(shù)據(jù)形式，如XML。通常這些方法都定義了一套語法轉換規(guī)則或者采用基于特征模式匹配的抽取規(guī)則，采用一些專用查詢語言提取和映射HTML文檔的各部分代碼。但都需要開發(fā)人員掌握屬于特定系統(tǒng)的專門查詢語言，而且對于目標頁面的改動比較敏感。 基于以上考慮，提出一種基于XML的網(wǎng)上信息自動收集系統(tǒng)。采用具有自學習能力的多線程Web頁面收集技術實現(xiàn)Web網(wǎng)頁的自動收集。對于從若干同類網(wǎng)站自動獲取與某一主題相關的.Web網(wǎng)頁，對搜索路

3、徑進行優(yōu)化設計，采用基于搜索路徑的自主搜索方法實現(xiàn)。其基本思想是將目標網(wǎng)頁搜索路徑所涉及網(wǎng)頁、網(wǎng)鏈以及它們之間關聯(lián)特征有機結合起來的，有效地幫助完成基于深度優(yōu)先的目標網(wǎng)頁智能搜索工作，并且不斷地對已掌握的搜索知識進行補充和完善。采用將HTML格式的文件轉換為XML格式，使之更利于信息的抽取和統(tǒng)一。由于HTML文檔中的絕大多數(shù)信息與用戶需求無關，所以只需要在XML樹形結構中找到一個特定的標志區(qū)域，找到其位置即引用點，通過引用點可以創(chuàng)建實際