面向分布式文本知識管理的中文分詞與文本分類研究.pdf

1、我們正處于一個知識經(jīng)濟的時代，知識正繼傳統(tǒng)的土地、自然資源、資本和勞動力之后成為推動社會進步與發(fā)展的重要力量。知識經(jīng)濟時代在客觀上要求有與之相適應的管理模式和理論及有效的技術手段。基于這個背景，本論文著重研究和探討了文本知識管理中基礎性的中文分詞技術以及文本分類技術，并提出分布式知識管理系統(tǒng)的架構等。具體有以下幾個方面：
　?。?）提出了一種自適應分詞算法。中文分詞的難點在于處理歧義和識別未登錄詞，傳統(tǒng)字典的匹配算法很大程度上是依

2、靠字典的代表性而無法有效地識別新詞，特別是對于各種行業(yè)領域的知識管理。本論文基于“2-gram”統(tǒng)計模型而實現(xiàn)一種能很好適應語料信息的分詞算法，且時間和精度都能滿足文本知識管理系統(tǒng)的應用需要。利用“分而治之”的思想來處理句長和詞長的情況，用局部概率與全局概率相結合來識別生詞和消歧，取得了很好的效果，從而使本論文提出的算法能夠自動適應行業(yè)領域的知識管理。
　?。?）提出了一種新的基于降維近似支持向量機的分類算法PSVM。近似支持向量

3、機與標準支持向量機的主要區(qū)別在于它們所對應的優(yōu)化問題的約束條件不同。即支持向量機是將問題歸結為線性不等式約束二次規(guī)劃問題，而近似支持向量機是將問題歸結成僅含線性等式約束的二次規(guī)劃問題。從理論上證明了該算法的時間復雜度和空間復雜度比傳統(tǒng)的SVM算法均有降低，在此基礎上提出了新的學習算法。實驗表明，提出的新算法與主要的分類算法相比有較好的性能。盡管較之標準SVM算法的精度有所下降，但訓練的時間比標準SVM算法要快，可以滿足文本知識管理系統(tǒng)對

4、訓練時間敏感和需要處理大量文本的苛刻環(huán)境要求，從而具備較大的實用價值。
　?。?）提出了一種基于本體的層次文本分類算法。通常討論的分類問題是單層分類，而層次分類是指多層類別關系下的分類問題。實際應用的文本知識管理系統(tǒng)通常是面向特定的行業(yè)和領域，并且具備一定的模糊性而存在多種分類的特性。用戶對于知識的關聯(lián)性及多概念粒度的分類有較高需求，這就需要采用更好的多層信息組織方式。針對文本知識管理系統(tǒng)中常見的多層類別關系下的分類問題，提出了一

5、種基于本體的層次文本分類算法，該方法利用知識管理系統(tǒng)的知識本體和受控關鍵詞表，并基于概念之間的相似度來實現(xiàn)文本的精確分類、查詢和檢索。而且，該方法同樣也適用于單層分類。
　?。?）提出了一種分布式文本知識管理系統(tǒng)模型。為了適應現(xiàn)有分散性組織的發(fā)展模式，使有效的分布式文本知識管理成為知識管理的發(fā)展趨勢之一。本論文提出的分布式文本知識管理系統(tǒng)模型是將Super-P2P技術應用于文本知識管理，以解決集中式文本知識管理所遇到的問題，并對模