基于DOM的Web信息抽取技術(shù)的研究與實現(xiàn).pdf

1、當(dāng)前，互聯(lián)網(wǎng)已成為全球信息傳播與共享的重要渠道，但隨著其數(shù)據(jù)量的爆炸性增長，用戶查找自己所需的信息卻變得越來越困難。在這種情況下，如何從浩繁的Web數(shù)據(jù)中抽取出有用的信息就成為了眾多研究工作者希望解決的問題。近年來國內(nèi)外已涌現(xiàn)了多種Web信息抽取方法，這些方法各有側(cè)重地解決了信息抽取中所面臨的問題。雖然在總體上取得了良好的效果，但仍然存在著對樣本需求過多，工作量大的缺陷。 針對現(xiàn)有方法的不足，提出一種半自動化Web信息抽取方法，

2、主要內(nèi)容包括以下幾個方面： 首先，在相似頁面的獲取上，采用基于URL結(jié)構(gòu)比較和簡單樹匹配算法相結(jié)合的方式來進行。即對爬蟲程序在網(wǎng)站內(nèi)獲取的超鏈接采用URL比較法進行先過濾，去掉不滿足匹配條件的網(wǎng)頁。然后使用簡單樹匹配法對剩下的網(wǎng)頁進行后過濾，以此來得到最終的相似頁面。這樣在網(wǎng)頁的相似性度量上，不僅考慮了URL，還考慮了網(wǎng)頁的實際結(jié)構(gòu)，彌補了單純根據(jù)URL獲取相似頁面的不足。 其次，提出一種基于DOM的Web信息抽取方法，

3、通過對用戶標(biāo)記項與測試網(wǎng)頁中數(shù)據(jù)項進行比較來獲取有效信息。即先將樣本網(wǎng)頁進行解析，提取其中感興趣數(shù)據(jù)項的特征。當(dāng)輸入測試網(wǎng)頁時，通過與其中所有的數(shù)據(jù)項進行特征比較來獲得抽取結(jié)果。采用這種方式進行信息抽取克服了傳統(tǒng)基于DOM的信息抽取方法對網(wǎng)頁結(jié)構(gòu)變化適應(yīng)性不強的缺點。 第三，針對多記錄網(wǎng)頁特別是記錄數(shù)目不固定的網(wǎng)頁進行信息抽取時，提出一種試探策略。在計算出用戶標(biāo)記記錄與測試網(wǎng)頁中記錄的相似度矩陣后，通過矩陣的變化情況來確定記錄間