基于HMM模型的Web信息抽取方法的研究與改進(jìn).pdf

1、隨著因特網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)上信息成幾何級(jí)數(shù)增長(zhǎng)，如何在海量聯(lián)機(jī)文本中獲取所需的信息成為目前重要的研究課題，因此，通用搜索引擎和垂直搜索引擎技術(shù)也日益成為人們研究的重點(diǎn)。相對(duì)于通用搜索引擎，垂直搜索引擎在信息抽取技術(shù)的支撐下，為用戶提供更有針對(duì)性、更加直觀的結(jié)構(gòu)化信息。信息抽取是指從一段文本中抽取指定的信息（例如事件、事實(shí)），并將其形成結(jié)構(gòu)化的數(shù)據(jù)填入數(shù)據(jù)庫(kù)中供用戶查詢使用的過(guò)程。目前，信息抽取技術(shù)已經(jīng)獲得了長(zhǎng)足的發(fā)展，然而在垂直搜索引

2、擎中，基于網(wǎng)頁(yè)模板的信息抽取仍然是最常使用的信息抽取方法。這種方法雖然有準(zhǔn)確率和回召率高的優(yōu)點(diǎn)，但在抽取網(wǎng)頁(yè)格式多、變化頻率高時(shí)，會(huì)降低抽取系統(tǒng)的靈活性，增加維護(hù)成本。
　　本文研究基于隱馬爾可夫模型的Web信息抽取方法，并對(duì)隱馬爾可夫模型在Web信息抽取中的應(yīng)用提出了改進(jìn)的方法。基于隱馬爾可夫模型的Web信息抽取方法是基于機(jī)器學(xué)習(xí)的抽取方法，可以有效提高抽取模型的靈活度，降低維護(hù)成本。
　　本文闡述了Web信息抽取出現(xiàn)的背

3、景和發(fā)展歷史，剖析了Web信息抽取的典型系統(tǒng)所采用的方法，分析了信息抽取發(fā)展過(guò)程中有代表意義的利用機(jī)器學(xué)習(xí)算法學(xué)習(xí)文本特征的抽取技術(shù)和抽取系統(tǒng)。研究了隱馬爾科夫模型與二階隱馬爾科夫模型的原理以及主要算法。如評(píng)估中的向前算法和向后算法；學(xué)習(xí)中用于完全標(biāo)記訓(xùn)練樣本的Maximum-Likelihood算法和用于部分標(biāo)記訓(xùn)練樣本的Baum-Welch算法；解碼中的Viterbi算法。并著重探討了隱馬爾科夫模型在文本信息抽取中應(yīng)該如何應(yīng)用，對(duì)隱