面向特定領(lǐng)域的文本識(shí)別和分類.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，越來越多的信息可以從網(wǎng)絡(luò)上獲得。但如何從大量的信息中抽取有用的信息仍然是一個(gè)問題。互聯(lián)網(wǎng)上的信息大部分都是以文本方式存在的，文本的內(nèi)容識(shí)別就構(gòu)成了高效信息獲取的基礎(chǔ)。本文設(shè)計(jì)了一個(gè)面向特定領(lǐng)域的文本內(nèi)容識(shí)別系統(tǒng)。該系統(tǒng)可以有效地將我們所需要的文本從大量的文本中分離出來。我們還可以把自動(dòng)識(shí)別得到的文本進(jìn)行更進(jìn)一步細(xì)分，并對(duì)每一個(gè)文本生成一個(gè)摘要，這樣就大大提高了信息獲取的效率。 文本識(shí)別不但要考慮屬于該領(lǐng)域的

2、文本的內(nèi)容特征，而且還要對(duì)不屬于該領(lǐng)域的文本的內(nèi)容特征進(jìn)行研究?？紤]不屬于該領(lǐng)域的文本特征，可以有效地增加不同類文本特征模式之間的距離并優(yōu)化其概率分布。文本表示方面采用近年來應(yīng)用較多且效果較好的向量空間模型(VSM)，給出了基于幾何距離的可分性判據(jù)和基于后驗(yàn)概率的可分性判據(jù)。根據(jù)這些可分性判據(jù)，闡述了基于熵概念的特征提取方法和直接特征挑選法。 中文分詞技術(shù)是文本識(shí)別的技術(shù)基礎(chǔ)，也是近年來的研究熱點(diǎn)。本文比較詳細(xì)地介紹了分詞的算法

3、和步驟，并對(duì)多個(gè)分詞算法的優(yōu)劣進(jìn)行了比較。闡述了分詞中的難點(diǎn)。最后，在基于詞典的分詞算法的基礎(chǔ)上，改進(jìn)并給出了全詞索引詞典結(jié)構(gòu)，大大提高了分詞算法的速度。根據(jù)可分性判據(jù)，作者采用了直接次優(yōu)搜索算法對(duì)初步特征進(jìn)行提取和選擇，還采用中文信息處理常用的標(biāo)準(zhǔn)TF-IDF公式進(jìn)行特征提取和選擇。 特征項(xiàng)權(quán)重的確定沒有太多的理論基礎(chǔ)，大多是根據(jù)訓(xùn)練樣本庫的統(tǒng)計(jì)知識(shí)和中文信息本身的語言特點(diǎn)來確定的。本文除了介紹了中文信息處理中的常用權(quán)重確定算