Web頁(yè)面中結(jié)構(gòu)化數(shù)據(jù)抽取的實(shí)現(xiàn)與應(yīng)用.pdf

1、萬(wàn)維網(wǎng)的飛速發(fā)展使得Web中存在的各種結(jié)構(gòu)化數(shù)據(jù)信息數(shù)量與日俱增。然而，Web中可訪問(wèn)到的海量的結(jié)構(gòu)化數(shù)據(jù)信息大都以半結(jié)構(gòu)化的html網(wǎng)頁(yè)文檔形式出現(xiàn)，很難被各種應(yīng)用程序直接獲取和使用。因此，旨在實(shí)現(xiàn)自動(dòng)獲取html網(wǎng)頁(yè)中結(jié)構(gòu)化數(shù)據(jù)的Web信息抽取技術(shù)已經(jīng)成為當(dāng)今的一個(gè)研究熱點(diǎn)。目前，已經(jīng)有大量針對(duì)Web信息抽取的研究，并且出現(xiàn)了許多基于不同原理的Web信息抽取技術(shù)。 本文主要研究并提出了兩種能夠處理特定類型網(wǎng)頁(yè)的Web信息抽取

2、方法： 第一種方法用來(lái)處理相同模板生成的網(wǎng)頁(yè)。它以一組同模板生成的網(wǎng)頁(yè)為輸入，自動(dòng)推斷網(wǎng)頁(yè)的生成模板，并利用獲取的模板生成相應(yīng)的網(wǎng)頁(yè)包裝器，實(shí)現(xiàn)同模板網(wǎng)頁(yè)中的結(jié)構(gòu)化數(shù)據(jù)抽取。其中算法EXALG_tju基于EXALG算法的核心思想，利用html文檔的樹(shù)形結(jié)構(gòu)對(duì)網(wǎng)頁(yè)模板進(jìn)行逐層推斷。 第二種方法主要處理網(wǎng)頁(yè)中含有的某一專業(yè)領(lǐng)域中的特定半結(jié)構(gòu)化文本。它根據(jù)指定文本的特征而制定規(guī)則，并使用規(guī)則和特定字典來(lái)獲取文本中含有的結(jié)構(gòu)化數(shù)