文本信息預(yù)處理技術(shù)的研究.pdf

1、計(jì)算機(jī)和Internet的普及，帶來(lái)了現(xiàn)代社會(huì)的信息爆炸，每天都會(huì)有海量的信息需要處理，信息的存在方式和形式可以歸納為四個(gè)“多”：多媒體，多語(yǔ)言，多文種，多格式。在眾多的信息中，文本信息又占了很大的比重。對(duì)自然語(yǔ)言文本信息的處理包括文本信息的分類，檢索，和濃縮等。目前，在這幾個(gè)方面的研究都取得了很大的進(jìn)展，產(chǎn)生了許多可喜的成果。但是，這些成果的研究大都是建立在比較理想條件下的，文本信息的形式比較單一，格式比較規(guī)范，文本中的一些特征信息比

2、較清晰容易識(shí)別。而現(xiàn)實(shí)中的各種文本信息，形式多樣化，格式不都很規(guī)范，而且一些重要的特征信息比較模糊，這些稱為文本信息的噪聲和變形。在將實(shí)驗(yàn)室的研究成果產(chǎn)品化，推向市場(chǎng)的時(shí)候，就會(huì)面臨這樣一個(gè)問(wèn)題：如何去除和減弱文本信息噪聲和變形的影響。因此，本文提出了文本信息預(yù)處理的概念，即將現(xiàn)實(shí)中各種形式，各種格式的文本信息轉(zhuǎn)化為適合于文本信息處理的，形式單一，格式規(guī)范，特征清晰的文本。 這個(gè)課題也是863項(xiàng)目“中英文自動(dòng)摘要系統(tǒng)”的一部分，

3、得到了國(guó)家科委863項(xiàng)目組的資助（項(xiàng)目編號(hào)863—306—ZD03—04—1）。同時(shí)，該課題是國(guó)家自然科學(xué)基金（60082003）的資助項(xiàng)目。 本文從多文件類型的處理，多文本格式的規(guī)整，以及文本中語(yǔ)義概念塊，句子，篇章結(jié)構(gòu)的劃分和描述等幾個(gè)方面對(duì)文本的預(yù)處理工作作了研究。本文主要的研究成果包括： （1）多種文件類型的讀取。本文介紹了讀取HTML和Word類文件中文本的算法。特別是讀取HTML中主體文本的算法，由于采用了H

4、TML標(biāo)記配對(duì)和交叉元素消除的算法，很好地解決了HTML中標(biāo)記的交叉嵌套和不配對(duì)的問(wèn)題，具有一定的創(chuàng)新性。本文還用面向?qū)ο蟮姆椒ㄌ岢隽艘粋€(gè)可擴(kuò)充的文件讀取模塊，用于方便地?cái)U(kuò)充對(duì)新的文件類型的處理。 （2）多文本格式的規(guī)整化。本文提出了一種自動(dòng)化的規(guī)整化算法，用于處理各種格式的文本，實(shí)踐證明，該算法在一般情況下能達(dá)到較好的效果。考慮到文本格式規(guī)整化算法的發(fā)展，本文還用面向?qū)ο蟮姆椒ㄌ岢隽艘粋€(gè)可擴(kuò)充的文本格式規(guī)整化模塊，可以方便地?cái)U(kuò)

5、充新的算法。為了將文本的規(guī)整化模塊與對(duì)文本進(jìn)行處理的模塊獨(dú)立開(kāi)來(lái)，文本還提出了一種文本格式的形式化描述方法，并用XML將之實(shí)現(xiàn)。該描述方法以句子為基本單位對(duì)文本進(jìn)行描述，方便了后續(xù)文本處理的工作，也為描述文本規(guī)整化的結(jié)果提供了手段。 （3）一種自學(xué)習(xí)的語(yǔ)義概念劃分方法。在分析現(xiàn)有的分詞系統(tǒng)的基礎(chǔ)上，本文還對(duì)語(yǔ)義概念塊的劃分作了研究，提出了一種詞庫(kù)的自動(dòng)維護(hù)模型，并進(jìn)而提出了一種自學(xué)習(xí)的語(yǔ)義概念塊的劃分方法。詞庫(kù)的自動(dòng)維護(hù)模型就是

6、通過(guò)對(duì)大量語(yǔ)料的分析，從中發(fā)現(xiàn)和提取新的概念，并將之補(bǔ)充到詞庫(kù)中，主要采用高頻詞提取和規(guī)則篩選的方法。自學(xué)習(xí)的語(yǔ)義概念劃分方法就是每次在對(duì)文本劃分語(yǔ)義概念塊之后，將劃分的結(jié)果存入語(yǔ)料庫(kù)中，積累了一定的量以后再對(duì)語(yǔ)料庫(kù)進(jìn)行分析，從中提取新的概念，補(bǔ)充到詞庫(kù)中，這樣能夠使系統(tǒng)逐漸適應(yīng)各種新出現(xiàn)的概念，并能夠適應(yīng)各個(gè)專業(yè)領(lǐng)域?qū)υ~庫(kù)的需要，提高語(yǔ)義概念劃分的準(zhǔn)確度。 （4）一種基于高頻字串提取的字串交叉模式匹配算法。字串交叉模式匹配就是