基于TABLE布局和隱馬爾可夫模型的Web自由文本信息抽取.pdf

1、互聯(lián)網(wǎng)的數(shù)據(jù)變得越來(lái)越龐大，如何自動(dòng)地從中抽取信息從而減輕人類的閱讀理解負(fù)擔(dān)變得越來(lái)越價(jià)值?；ヂ?lián)網(wǎng)的網(wǎng)頁(yè)中主要包含三種類型的文本——結(jié)構(gòu)化文本，半結(jié)構(gòu)化文本，自由文本。本文設(shè)計(jì)的系統(tǒng)從Web頁(yè)面提取自由文本并從中抽取出結(jié)構(gòu)化信息：它以Web為數(shù)據(jù)源，從聚焦搜索抓取的主題網(wǎng)頁(yè)庫(kù)中取得某一主題的網(wǎng)頁(yè)，提取網(wǎng)頁(yè)正文，并進(jìn)一步判定網(wǎng)頁(yè)正文的自由文本屬性，利用該主題類型的信息抽取訓(xùn)練模型對(duì)自由文本提取目標(biāo)信息，最后存入結(jié)構(gòu)化信息存儲(chǔ)系統(tǒng)中供后續(xù)應(yīng)

2、用程序的查詢使用。根據(jù)大多數(shù)網(wǎng)頁(yè)布局基于TABLE標(biāo)簽布局這一情況，本文提出了基于 TABLE布局的分塊和網(wǎng)頁(yè)冗余信息檢測(cè)與移除算法——對(duì)于一個(gè)HTM[。文檔，提取網(wǎng)頁(yè)中的所有 TABLE 元素，構(gòu)成一個(gè)簡(jiǎn)化的 TABLE樹(shù)型模型。根據(jù) TABLE節(jié)點(diǎn)的結(jié)構(gòu)，樣式及內(nèi)容相似性，進(jìn)行分塊，聚類，從而提取網(wǎng)頁(yè)模版。另外，由于網(wǎng)頁(yè)中的自由文本通常表現(xiàn)為比較連續(xù)的文本字符串，而半結(jié)構(gòu)化信息通常存放在HTML 的 TABLE,UL,OL 等結(jié)構(gòu)中