利用表格信息的Web文本分類(lèi)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)等信息技術(shù)的發(fā)展和廣泛應(yīng)用，Web已經(jīng)成為人們獲取信息最重要手段之一。如何從這海量的信息資源庫(kù)中快速、準(zhǔn)確地進(jìn)行分類(lèi)并提取出有用的信息，變得十分迫切。Web信息抽取技術(shù)和Web文本分類(lèi)技術(shù)作為Web信息處理重要的組成部分，現(xiàn)在也越來(lái)越得到更多人的重視。 本文首先通過(guò)對(duì)Web信息抽取技術(shù)的研究，提出了一種基于表格結(jié)構(gòu)的Web表格信息抽取模型，該模型主要有表格定位模塊、表格結(jié)構(gòu)預(yù)處理模塊和表格信息抽取與重構(gòu)模塊等三個(gè)模塊組

2、成，根據(jù)Web表格的結(jié)構(gòu)標(biāo)記和自定義的啟發(fā)式規(guī)則來(lái)抽取表格信息。實(shí)驗(yàn)結(jié)果表明該模型能夠很好的用于Web表格信息的抽取，并且可以把不標(biāo)準(zhǔn)的Web表格轉(zhuǎn)換成標(biāo)準(zhǔn)的表格形式，用Excel文件格式來(lái)存儲(chǔ)。同時(shí)為了得到表格信息中的特征信息(關(guān)鍵信息)，本文通過(guò)觀察和研究表格結(jié)構(gòu)的類(lèi)型，定義了一些啟發(fā)式規(guī)則對(duì)表格單元信息類(lèi)型進(jìn)行識(shí)別，從而區(qū)分出表格信息中的特征信息和一般單元信息。 然后通過(guò)對(duì)Web文本分類(lèi)技術(shù)和本體理論的研究，本文構(gòu)建了關(guān)于

3、Web表格特征信息知識(shí)的領(lǐng)域本體，提出并設(shè)計(jì)了一種用于Web文本分類(lèi)的二次分類(lèi)模型。該模型使用支持向量機(jī)方法對(duì)測(cè)試樣本進(jìn)行第一次分類(lèi)，由于設(shè)定了較高的分類(lèi)閾值，一次分類(lèi)后部分測(cè)試樣本未確定所屬類(lèi)別；對(duì)于未確定所屬類(lèi)別的測(cè)試樣本，本文抽取樣本中的Web表格特征信息，與基于領(lǐng)域本體的分類(lèi)模板進(jìn)行相似度匹配，進(jìn)行第二次分類(lèi)。 最后通過(guò)實(shí)驗(yàn)，本文對(duì)比二次分類(lèi)模型方法和基于支持向量機(jī)的分類(lèi)方法，發(fā)現(xiàn)無(wú)論是在準(zhǔn)確率上，還是在召回率上，二次分