基于HMM模型的Web信息抽取方法的研究與改進.pdf

1、隨著因特網技術的迅速發(fā)展，網上信息成幾何級數增長，如何在海量聯機文本中獲取所需的信息成為目前重要的研究課題，因此，通用搜索引擎和垂直搜索引擎技術也日益成為人們研究的重點。相對于通用搜索引擎，垂直搜索引擎在信息抽取技術的支撐下，為用戶提供更有針對性、更加直觀的結構化信息。信息抽取是指從一段文本中抽取指定的信息（例如事件、事實），并將其形成結構化的數據填入數據庫中供用戶查詢使用的過程。目前，信息抽取技術已經獲得了長足的發(fā)展，然而在垂直搜索引

2、擎中，基于網頁模板的信息抽取仍然是最常使用的信息抽取方法。這種方法雖然有準確率和回召率高的優(yōu)點，但在抽取網頁格式多、變化頻率高時，會降低抽取系統(tǒng)的靈活性，增加維護成本。
　　本文研究基于隱馬爾可夫模型的Web信息抽取方法，并對隱馬爾可夫模型在Web信息抽取中的應用提出了改進的方法。基于隱馬爾可夫模型的Web信息抽取方法是基于機器學習的抽取方法，可以有效提高抽取模型的靈活度，降低維護成本。
　　本文闡述了Web信息抽取出現的背

3、景和發(fā)展歷史，剖析了Web信息抽取的典型系統(tǒng)所采用的方法，分析了信息抽取發(fā)展過程中有代表意義的利用機器學習算法學習文本特征的抽取技術和抽取系統(tǒng)。研究了隱馬爾科夫模型與二階隱馬爾科夫模型的原理以及主要算法。如評估中的向前算法和向后算法；學習中用于完全標記訓練樣本的Maximum-Likelihood算法和用于部分標記訓練樣本的Baum-Welch算法；解碼中的Viterbi算法。并著重探討了隱馬爾科夫模型在文本信息抽取中應該如何應用，對隱