基于包裝器模型的文本信息抽取算法研究.pdf

1、隨著因特網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)上信息成幾何級數(shù)增長，如何自動處理這些海量聯(lián)機(jī)文本信息成為目前重要的研究課題。文本信息抽取是指從一段文本中抽取指定的信息(例如事件、事實(shí))，并將其形成結(jié)構(gòu)化的數(shù)據(jù)填入數(shù)據(jù)庫中供用戶查詢使用的過程。自動文本信息抽取是處理海量文本的重要手段之一。本文研究基于包裝器模型的文本信息抽取算法。 本文首先總結(jié)了三種常見文本信息抽取模型，對比了三種文本信息抽取模型的優(yōu)缺點(diǎn)，著重研究基于包裝器模型的文本信息抽取。在分

2、析了基于包裝器模型的文本信息抽取典型歸納學(xué)習(xí)算法的基礎(chǔ)上，利用頁面的一些重要特性，例如注釋和文本模式信息，提出了一種新的歸納學(xué)習(xí)算法，新算法將注釋信息加入到抽取規(guī)則的有限狀態(tài)機(jī)的狀態(tài)序列中，從而能有效地降低算法搜索時(shí)間，并能對目標(biāo)信息進(jìn)行充分的定位；并且新算法能用學(xué)習(xí)到的文本模式信息對抽取結(jié)果進(jìn)行必要的過濾。分析和實(shí)驗(yàn)結(jié)果表明新的算法具有較高的抽取精度和召回率。 針對WEB頁面結(jié)構(gòu)多變、包裝器易于失效這個(gè)缺陷，本文提出了一種新的

3、包裝器平衡算法，該算法能利用頁面上一些不變的重要特性信息來確定數(shù)據(jù)項(xiàng)的位置，然后對包裝器進(jìn)行修復(fù)，從而維持包裝器的平衡。實(shí)驗(yàn)結(jié)果表明，新的算法能適應(yīng)絕大多數(shù)WEB頁面的變動，能自動產(chǎn)生新的歸納學(xué)習(xí)算法，并且具有較高的抽取精度和召回率。 考慮到訓(xùn)練數(shù)據(jù)的手工標(biāo)記成本很高，本文將主動學(xué)習(xí)的一些算法應(yīng)用到上述新提出的歸納學(xué)習(xí)算法中，用主動學(xué)習(xí)算法來選擇實(shí)用價(jià)值最高的信息來讓用戶標(biāo)記，由此可有效地減少由于用戶盲目性而產(chǎn)生的過多的手工操作