一種網(wǎng)站數(shù)據(jù)抽取系統(tǒng)的設(shè)計與驗證.pdf

1、近十幾年來，隨著互聯(lián)網(wǎng)的快速普及與發(fā)展，網(wǎng)上的應(yīng)用越來越豐富，信息量更是呈指數(shù)級、爆炸式增長?；ヂ?lián)網(wǎng)已經(jīng)日益成為了人們獲取信息的最重要的資源。然而，面對著如此海量的信息，人們想要獲取真正感興趣的信息也越來越難了。搜索引擎雖然可以幫助人們在浩如煙海的信息海洋中搜尋到自己所需要的信息。但是，傳統(tǒng)的搜索引擎屬于海量搜索，具有信息量大、查詢不準(zhǔn)確、深度不夠等特點(diǎn)。對網(wǎng)上的許多非常有用的數(shù)據(jù)，例如電話黃頁、產(chǎn)品目錄、股票行情、工作信息、房源信息等

2、，傳統(tǒng)的搜索引擎將無能為力。 所以，本文設(shè)計了一個網(wǎng)站抽取系統(tǒng)，把來源分散的同一主題的數(shù)據(jù)自動抽取并整合后存放到關(guān)系數(shù)據(jù)庫中。然后根據(jù)需要，將這些數(shù)據(jù)提供給不同的應(yīng)用系統(tǒng)使用，就可以使用戶很容易地獲得他們真正需要的信息了。 本文中設(shè)計的系統(tǒng)是一個規(guī)則驅(qū)動的網(wǎng)站數(shù)據(jù)抽取平臺，使用它進(jìn)行數(shù)據(jù)抽取時，不需要對每一個具體的網(wǎng)站編寫專門的程序。但需要針對每一個具體的網(wǎng)站定義不同的抽取規(guī)則。它要求用戶首先選定并瀏覽樣本頁面，根據(jù)對頁

3、面內(nèi)容的理解創(chuàng)建概念模式，即采用人工方式為樣本頁面附加語義信息；然后對樣本頁面中的樣本記錄進(jìn)行標(biāo)記，通過機(jī)器學(xué)習(xí)的方法形成信息抽取規(guī)則：最后，系統(tǒng)利用已形成的抽取規(guī)則對具有相似結(jié)構(gòu)的網(wǎng)頁實(shí)現(xiàn)信息抽取。 本文中設(shè)計的抽取系統(tǒng)的工作對象是包含大量關(guān)系型數(shù)據(jù)的網(wǎng)站，這些數(shù)據(jù)中的每一條記錄都可以歸結(jié)到“名稱一屬性”的集合的形式。針對可能的網(wǎng)站結(jié)構(gòu)，本文歸納總結(jié)出了目錄導(dǎo)航型和查詢返回型兩種基本網(wǎng)站結(jié)構(gòu)，并分別從網(wǎng)站首頁出發(fā)，導(dǎo)出了包含目