面向分布式文本知識(shí)管理的中文分詞與文本分類(lèi)研究.pdf

1、我們正處于一個(gè)知識(shí)經(jīng)濟(jì)的時(shí)代，知識(shí)正繼傳統(tǒng)的土地、自然資源、資本和勞動(dòng)力之后成為推動(dòng)社會(huì)進(jìn)步與發(fā)展的重要力量。知識(shí)經(jīng)濟(jì)時(shí)代在客觀上要求有與之相適應(yīng)的管理模式和理論及有效的技術(shù)手段?；谶@個(gè)背景，本論文著重研究和探討了文本知識(shí)管理中基礎(chǔ)性的中文分詞技術(shù)以及文本分類(lèi)技術(shù)，并提出分布式知識(shí)管理系統(tǒng)的架構(gòu)等。具體有以下幾個(gè)方面：
　?。?）提出了一種自適應(yīng)分詞算法。中文分詞的難點(diǎn)在于處理歧義和識(shí)別未登錄詞，傳統(tǒng)字典的匹配算法很大程度上是依

2、靠字典的代表性而無(wú)法有效地識(shí)別新詞，特別是對(duì)于各種行業(yè)領(lǐng)域的知識(shí)管理。本論文基于“2-gram”統(tǒng)計(jì)模型而實(shí)現(xiàn)一種能很好適應(yīng)語(yǔ)料信息的分詞算法，且時(shí)間和精度都能滿(mǎn)足文本知識(shí)管理系統(tǒng)的應(yīng)用需要。利用“分而治之”的思想來(lái)處理句長(zhǎng)和詞長(zhǎng)的情況，用局部概率與全局概率相結(jié)合來(lái)識(shí)別生詞和消歧，取得了很好的效果，從而使本論文提出的算法能夠自動(dòng)適應(yīng)行業(yè)領(lǐng)域的知識(shí)管理。
　?。?）提出了一種新的基于降維近似支持向量機(jī)的分類(lèi)算法PSVM。近似支持向量

3、機(jī)與標(biāo)準(zhǔn)支持向量機(jī)的主要區(qū)別在于它們所對(duì)應(yīng)的優(yōu)化問(wèn)題的約束條件不同。即支持向量機(jī)是將問(wèn)題歸結(jié)為線(xiàn)性不等式約束二次規(guī)劃問(wèn)題，而近似支持向量機(jī)是將問(wèn)題歸結(jié)成僅含線(xiàn)性等式約束的二次規(guī)劃問(wèn)題。從理論上證明了該算法的時(shí)間復(fù)雜度和空間復(fù)雜度比傳統(tǒng)的SVM算法均有降低，在此基礎(chǔ)上提出了新的學(xué)習(xí)算法。實(shí)驗(yàn)表明，提出的新算法與主要的分類(lèi)算法相比有較好的性能。盡管較之標(biāo)準(zhǔn)SVM算法的精度有所下降，但訓(xùn)練的時(shí)間比標(biāo)準(zhǔn)SVM算法要快，可以滿(mǎn)足文本知識(shí)管理系統(tǒng)對(duì)

4、訓(xùn)練時(shí)間敏感和需要處理大量文本的苛刻環(huán)境要求，從而具備較大的實(shí)用價(jià)值。
　?。?）提出了一種基于本體的層次文本分類(lèi)算法。通常討論的分類(lèi)問(wèn)題是單層分類(lèi)，而層次分類(lèi)是指多層類(lèi)別關(guān)系下的分類(lèi)問(wèn)題。實(shí)際應(yīng)用的文本知識(shí)管理系統(tǒng)通常是面向特定的行業(yè)和領(lǐng)域，并且具備一定的模糊性而存在多種分類(lèi)的特性。用戶(hù)對(duì)于知識(shí)的關(guān)聯(lián)性及多概念粒度的分類(lèi)有較高需求，這就需要采用更好的多層信息組織方式。針對(duì)文本知識(shí)管理系統(tǒng)中常見(jiàn)的多層類(lèi)別關(guān)系下的分類(lèi)問(wèn)題，提出了一

5、種基于本體的層次文本分類(lèi)算法，該方法利用知識(shí)管理系統(tǒng)的知識(shí)本體和受控關(guān)鍵詞表，并基于概念之間的相似度來(lái)實(shí)現(xiàn)文本的精確分類(lèi)、查詢(xún)和檢索。而且，該方法同樣也適用于單層分類(lèi)。
　　（4）提出了一種分布式文本知識(shí)管理系統(tǒng)模型。為了適應(yīng)現(xiàn)有分散性組織的發(fā)展模式，使有效的分布式文本知識(shí)管理成為知識(shí)管理的發(fā)展趨勢(shì)之一。本論文提出的分布式文本知識(shí)管理系統(tǒng)模型是將Super-P2P技術(shù)應(yīng)用于文本知識(shí)管理，以解決集中式文本知識(shí)管理所遇到的問(wèn)題，并對(duì)模