基于HMM和BP網(wǎng)絡(luò)混合模型的web文本信息抽取研究.pdf

1、隨著Internet的發(fā)展,web上的信息正爆炸式增長,由于信息的無序性以及人們不滿足于自己去檢索必要的信息,等等諸如此類的需求推動了web文本信息抽取的研究。但是目前信息抽取中使用的主要技術(shù),存在一些問題,比如自適應(yīng)性不好,統(tǒng)計能力不強等,造成抽取結(jié)果中的準確性和召回率較低,通過分析以上問題,本文提出了一種基于混合模型的方法,能較好的改善上述問題,提高抽取質(zhì)量。
　　本文通過介紹在文本信息抽取領(lǐng)域使用的兩種主要技術(shù):隱馬爾可夫模

2、型(HMM)和BP網(wǎng)絡(luò),并分析了二者的優(yōu)缺點,HMM是一種優(yōu)秀的統(tǒng)計學(xué)模型,其優(yōu)越的時序性,動態(tài)性和優(yōu)秀的建模能力已經(jīng)使得該模型成功應(yīng)用于各個領(lǐng)域,但其適應(yīng)性交差,并需要大量的訓(xùn)練數(shù)據(jù);BP網(wǎng)絡(luò)有優(yōu)秀的決策能力,對不確定信息的描述能力以及自適應(yīng)性較強,但是該模型時序性不強,而且需要特定的輸入條件。在此基礎(chǔ)上研究如何通過隱馬爾科夫模型和神經(jīng)網(wǎng)絡(luò)模型的結(jié)合,來提高目前信息抽取方法的準確性和召回率。通過分析發(fā)現(xiàn),兩種模型在優(yōu)缺點上互補,將 H

3、MM與BP網(wǎng)絡(luò)結(jié)合在一起,可以即克服HMM在分類能力以及適應(yīng)性上的不足,又可以彌補BP網(wǎng)絡(luò)需要特定輸入和建模能力弱等缺陷。
　　在分析了前人對信息抽取技術(shù)的改進后,本文采用對待抽取文本進行分塊的方法,首先將文本進行人工標注,然后對各狀態(tài)進行多HMM訓(xùn)練,將HMM訓(xùn)練后的最佳狀態(tài)輸出概率作為BP網(wǎng)絡(luò)的輸入,在BP網(wǎng)絡(luò)中進行映射,運用BP網(wǎng)絡(luò)分類能力強的特點對文本狀態(tài)進行映射分類。實驗結(jié)果表明,該混合模型比傳統(tǒng)的HMM模型或者BP網(wǎng)絡(luò)