詞間語義關(guān)系的研究及其在文本分類中的應(yīng)用.pdf

1、自動文本分類是信息檢索領(lǐng)域的基本任務(wù)之一.隨著互聯(lián)網(wǎng)上的信息量呈爆炸性增長,人們很難從大量的文本信息中迅速有效地提取出所需信息.為了解決信息迷向的現(xiàn)象,對文本分類的研究顯得越來越重要. 本文設(shè)計并實現(xiàn)了基于模塊化的可擴(kuò)展自動文本分類系統(tǒng).對分類過程中的各重要環(huán)節(jié)進(jìn)行了細(xì)致全面的研究和分析.在此基礎(chǔ)上我們提出了將自然語言處理領(lǐng)域中的詞語語義關(guān)系挖掘模型與文本分類系統(tǒng)相結(jié)合的方法,目的在于解決目前向量空間模型中詞語相互獨立這一基本假

2、設(shè)的不合理性.同時期望通過利用文本中詞語間的深層內(nèi)涵,在較小的向量空間內(nèi)表示更加豐富的文檔信息,并以此提高文本分類的測試效果. 語義關(guān)系挖掘模型利用語言學(xué)的句法分析和信息學(xué)的統(tǒng)計思想,通過對文本語料的深層挖掘,得到詞條間網(wǎng)狀語義關(guān)系詞典.該詞典資源豐富了文本的向量信息,使得向量表示更加高效簡潔.我們把該模型與強大的SVM分類器模型結(jié)合在一起,顯著提升了分類系統(tǒng)的結(jié)果. 在實驗中我們將該模型與標(biāo)準(zhǔn)的詞袋模型在20NG和Re