基于包裝器模型的文本信息抽取算法研究.pdf

1、隨著因特網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)上信息成幾何級(jí)數(shù)增長(zhǎng)，如何自動(dòng)處理這些海量聯(lián)機(jī)文本信息成為目前重要的研究課題。文本信息抽取是指從一段文本中抽取指定的信息(例如事件、事實(shí))，并將其形成結(jié)構(gòu)化的數(shù)據(jù)填入數(shù)據(jù)庫(kù)中供用戶查詢使用的過(guò)程。自動(dòng)文本信息抽取是處理海量文本的重要手段之一。本文研究基于包裝器模型的文本信息抽取算法。 本文首先總結(jié)了三種常見(jiàn)文本信息抽取模型，對(duì)比了三種文本信息抽取模型的優(yōu)缺點(diǎn)，著重研究基于包裝器模型的文本信息抽取。在分

2、析了基于包裝器模型的文本信息抽取典型歸納學(xué)習(xí)算法的基礎(chǔ)上，利用頁(yè)面的一些重要特性，例如注釋和文本模式信息，提出了一種新的歸納學(xué)習(xí)算法，新算法將注釋信息加入到抽取規(guī)則的有限狀態(tài)機(jī)的狀態(tài)序列中，從而能有效地降低算法搜索時(shí)間，并能對(duì)目標(biāo)信息進(jìn)行充分的定位；并且新算法能用學(xué)習(xí)到的文本模式信息對(duì)抽取結(jié)果進(jìn)行必要的過(guò)濾。分析和實(shí)驗(yàn)結(jié)果表明新的算法具有較高的抽取精度和召回率。 針對(duì)WEB頁(yè)面結(jié)構(gòu)多變、包裝器易于失效這個(gè)缺陷，本文提出了一種新的

3、包裝器平衡算法，該算法能利用頁(yè)面上一些不變的重要特性信息來(lái)確定數(shù)據(jù)項(xiàng)的位置，然后對(duì)包裝器進(jìn)行修復(fù)，從而維持包裝器的平衡。實(shí)驗(yàn)結(jié)果表明，新的算法能適應(yīng)絕大多數(shù)WEB頁(yè)面的變動(dòng)，能自動(dòng)產(chǎn)生新的歸納學(xué)習(xí)算法，并且具有較高的抽取精度和召回率。 考慮到訓(xùn)練數(shù)據(jù)的手工標(biāo)記成本很高，本文將主動(dòng)學(xué)習(xí)的一些算法應(yīng)用到上述新提出的歸納學(xué)習(xí)算法中，用主動(dòng)學(xué)習(xí)算法來(lái)選擇實(shí)用價(jià)值最高的信息來(lái)讓用戶標(biāo)記，由此可有效地減少由于用戶盲目性而產(chǎn)生的過(guò)多的手工操作