基于條件隨機(jī)域的Web信息抽取研究.pdf

1、隨著互聯(lián)網(wǎng)資源的迅速增長(zhǎng)，僅僅依靠瀏覽器以及基于關(guān)鍵字檢索查詢的搜索引擎，已遠(yuǎn)不能滿足互聯(lián)網(wǎng)用戶的信息需求，Web信息抽取應(yīng)運(yùn)而生。本文以條件隨機(jī)域模型為主要研究?jī)?nèi)容，研究了結(jié)構(gòu)新穎的條件隨機(jī)域模型，選擇了一種適合Web信息抽取的條件隨機(jī)域，提出了基于該模型的Web信息抽取系統(tǒng)。本文的工作和特點(diǎn)如下：
　　鑒于目前國(guó)內(nèi)對(duì)線性鏈?zhǔn)綏l件隨機(jī)域這一簡(jiǎn)單模型研究和應(yīng)用得比較多，但是對(duì)結(jié)構(gòu)復(fù)雜，能對(duì)數(shù)據(jù)更好建模的條件隨機(jī)域模型研究得很少，本

2、文在前人的基礎(chǔ)上研究了兩類結(jié)構(gòu)新穎的條件隨機(jī)域模型，對(duì)這些模型的數(shù)學(xué)表達(dá)式、算法進(jìn)行了系統(tǒng)的研究，為下一步工作打下了堅(jiān)實(shí)的理論基礎(chǔ)。
　　CRF模型相比HMM，可以加入遠(yuǎn)距離、重疊性等特征。雖然CRF模型在國(guó)內(nèi)已得到廣泛應(yīng)用，但所研究的模型多是基于馬爾可夫假設(shè)的線性鏈模型，該模型不能夠表達(dá)節(jié)點(diǎn)間的長(zhǎng)距離依賴關(guān)系，所以很少有對(duì)在模型中加入長(zhǎng)距離特征的研究。本文對(duì)這個(gè)問題進(jìn)行了專門研究，提出了長(zhǎng)距離依賴條件隨機(jī)域模型，并基于該模型進(jìn)行

3、了 Web 文本信息抽取實(shí)驗(yàn)，結(jié)果表明長(zhǎng)距離特征確實(shí)對(duì)提高模型的抽取性能有很大幫助。
　　近年來，利用統(tǒng)計(jì)模型進(jìn)行Web信息抽取的研究越來越多，但大部分抽取系統(tǒng)存在共同的缺陷：一方面可擴(kuò)展性較差，特征函數(shù)都內(nèi)置在源代碼中，對(duì)于有不同需求的抽取者來說，幾乎不能定制自己的特征函數(shù)；另一方面為了獲得較好的抽取性能，模型需要大量的訓(xùn)練頁(yè)面，而標(biāo)記訓(xùn)練頁(yè)面是非常耗時(shí)耗力的。本文結(jié)合XML技術(shù)的可擴(kuò)展性和方便交流性，提出了XML條件隨機(jī)域模型