利用非廣延最大熵模型進(jìn)行文本分類(lèi).pdf

1、在線資源的迅速增長(zhǎng)、互聯(lián)網(wǎng)信息量的急劇增加使得人們從信息匱乏的時(shí)代過(guò)渡到了信息極為豐富的時(shí)代。面對(duì)日益膨脹的、異構(gòu)的信息資源，如何快速、準(zhǔn)確地從海量信息中尋找到所需的相關(guān)內(nèi)容變得十分棘手。因此，研究利用計(jì)算機(jī)進(jìn)行自動(dòng)文本分類(lèi)成為自然語(yǔ)言處理和人工智能領(lǐng)域中一項(xiàng)具有重要應(yīng)用價(jià)值的課題。目前文本分類(lèi)領(lǐng)域中已經(jīng)存在多種具有良好分類(lèi)效果的理論技術(shù)，本文主要介紹如何利用非廣延熵模型進(jìn)行文本分類(lèi)。非廣延熵模型建立在最大熵模型的基礎(chǔ)上，最大熵模型是一

2、項(xiàng)概率分布估計(jì)技術(shù)，它的基本思想是擬合所有已知事實(shí)，保持未知事件的未知狀態(tài)，已被廣泛應(yīng)用于語(yǔ)言建模、詞性標(biāo)注、文本分割等自然語(yǔ)言處理領(lǐng)域。
　　 本文在最大熵模型的基礎(chǔ)上提出了兩個(gè)用于文本分類(lèi)的擴(kuò)展模型。第一個(gè)模型利用非廣延熵代替香農(nóng)熵作為最大熵模型中的目標(biāo)函數(shù)，以期簡(jiǎn)化分類(lèi)器的表達(dá)形式，稱之為非廣延熵模型；第二個(gè)模型在非廣延熵模型的基礎(chǔ)上引入實(shí)體間的高階約束，試圖通過(guò)增加文本中單詞間的共現(xiàn)關(guān)系約束提高文本分類(lèi)的正確率，稱為帶有

3、高階約束的非廣延熵模型。成功建模后利用拉格朗日乘子法求解模型，得到分類(lèi)器的表達(dá)形式并進(jìn)行參數(shù)估計(jì)，最終得到文本分類(lèi)器。
　　 本文選用20 Newsgroups作為語(yǔ)料庫(kù)進(jìn)行文本分類(lèi)，并進(jìn)行了兩組分類(lèi)器性能評(píng)價(jià)對(duì)比實(shí)驗(yàn)。第一組對(duì)比實(shí)驗(yàn)比較基于本文提出的兩個(gè)擴(kuò)展模型的文本分類(lèi)器，實(shí)驗(yàn)結(jié)果表明在非廣延熵模型中添加高階約束后文本分類(lèi)的正確率有一定程度的提高；第二組對(duì)比實(shí)驗(yàn)比較兩個(gè)非廣延熵模型和最大熵模型，實(shí)驗(yàn)結(jié)果表明本文提出的兩個(gè)擴(kuò)展