基于隱馬爾可夫模型的文本信息抽取算法研究.pdf

1、隨著因特網(wǎng)技術(shù)的迅速發(fā)展,網(wǎng)上信息成幾何級數(shù)增長,如何自動處理這些海量聯(lián)機(jī)文本成為目前重要的研究課題.文本信息抽取是指從一段文本中抽取指定的信息(例如事件、事實(shí)),并將其形成結(jié)構(gòu)化的數(shù)據(jù)填入數(shù)據(jù)庫中供用戶查詢使用的過程.自動文本信息抽取是處理海量文本的重要手段之一.該文研究基于隱馬爾可夫模型的文本信息抽取算法.該文首先分析了在文本信息抽取中如何建立隱馬爾可夫模型結(jié)構(gòu)和參數(shù)訓(xùn)練問題,在此基礎(chǔ)上,利用文本排版格式、分隔符等信息,提出一種基于

2、文本分塊的隱馬爾可夫模型文本信息抽取算法,實(shí)驗(yàn)結(jié)果表明,新的算法具有較高的精確度和召回率.針對訓(xùn)練數(shù)據(jù)來源的多樣化而不利于學(xué)習(xí)最優(yōu)模型參數(shù)問題,該文提出一種基于多模板隱馬爾可夫模型的文本信息抽取算法,該算法通過對訓(xùn)練數(shù)據(jù)形式聚類,分為多個(gè)形式模板訓(xùn)練隱馬爾可夫模型初始概率和轉(zhuǎn)移概率參數(shù),結(jié)合統(tǒng)一的釋放概率,對文本信息進(jìn)行抽取,實(shí)驗(yàn)結(jié)果表明,新的算法在一定條件下能提高文本信息抽取的精確度和召回率.基于最大熵原理,該文結(jié)合自然語言文本的上下

3、文特征、文本詞匯本身包含的特征信息,提出一種基于最大熵的隱馬爾可夫模型文本信息抽取算法.實(shí)驗(yàn)結(jié)果表明,新的算法雖然增加了時(shí)間復(fù)雜度,但能提高精確度和召回率,其整體性能優(yōu)于基于簡單的隱馬爾可夫模型文本信息抽取算法.考慮到訓(xùn)練數(shù)據(jù)的手工標(biāo)記成本很高,該文結(jié)合主動學(xué)習(xí)的隱馬爾可夫模型進(jìn)行文本信息抽取,通過對相關(guān)參數(shù)設(shè)置不同的門檻值,對比用戶標(biāo)記率和信息抽取正確率,選擇最佳的門檻值.實(shí)驗(yàn)數(shù)據(jù)分析表明,該方法在保證性能的前提下,能很大程度上減少用