半結(jié)構(gòu)化文本中的表格信息抽取技術(shù)的研究.pdf

1、表格作為網(wǎng)頁的一部分，它簡單，容易使用，是一個非常常見的表示圖解，而且表格里面蘊含豐富的信息，所以它對信息抽取，數(shù)據(jù)挖掘等領域具有很大的吸引力。表格里面的內(nèi)容可以為我們提供了豐富的信息，是一個寶貴的知識來源，因此從表格中抽取信息是一個很值得研究的課題。
　　本文通過分析半結(jié)構(gòu)化表格的布局和內(nèi)容方面的特性，發(fā)現(xiàn)了表格的特征，提出了用最大熵方法進行訓練。為了提高訓練的精度，本文在選取特征的時候，考慮到了表格的跨多行、跨多列等的布局特征

2、。本文把半結(jié)構(gòu)化文本中的表格信息抽取技術(shù)研究分為兩個部分：第一個部分是表格的識別工作，第二個部分是表格信息抽取工作。
　　第一部分的表格識別研究，由于目前的啟發(fā)式規(guī)則的方法取得的F度量不是太高，決策樹方法比啟發(fā)式規(guī)則的方法取得的F度量高，并且目前的表格識別研究沒有用最大熵模型的?；谶@兩種原因，所以本文提出了用最大熵模型來進行表格識別，并和目前研究的F度量比較高的決策樹方法進行比較，比較的時候選用了相同的語料庫和特征。在運用最大熵

3、模型訓練選取特征的時候，本文分析了表格的布局特征與內(nèi)容特征，發(fā)現(xiàn)內(nèi)容特征比布局特征更能反映出表格的特性。本文把布局特征和內(nèi)容特征結(jié)合起來作為表格的特征，利用多個專業(yè)領域的網(wǎng)頁作為語料庫進行訓練，通過多次的迭代試驗，證明了最大熵方法能夠很好的解決表格識別問題，對表格識別的F度量能夠達到91.31％，超過了決策樹方法（F度量為87.87%）。試驗驗證了最大熵在處理大訓練語料庫的時候比決策樹方法有優(yōu)勢，主要是因為決策樹分類算法缺乏伸縮性，進行

4、深度優(yōu)先搜索時，受內(nèi)存大小限制。
　　第二個部分的表格信息提取研究，本文提出了用HTML Tidy工具來解決網(wǎng)頁源代碼中存在的很多不規(guī)范問題，比如丟失標簽，標簽順序混亂等等。對于表格的內(nèi)容抽取，本文簡單介紹了基于Wrapper的提取方法和基于Dom的提取方法，因為Dom方法更適合于提取結(jié)構(gòu)化的信息，而表格里面的內(nèi)容恰好具有“屬性-值”這樣的結(jié)構(gòu)化特性，所以在表格信抽取系統(tǒng)中，本文采用了基于Dom的抽取方法來提取表格內(nèi)容。系統(tǒng)中，本