基于支持向量機(jī)中文文本分類系統(tǒng)研究與實(shí)現(xiàn).pdf

1、伴隨著計(jì)算機(jī)信息技術(shù)的快速發(fā)展和互聯(lián)網(wǎng)的普及應(yīng)用,文本信息量呈幾何級(jí)增長,無論在企事業(yè)單位還是在科研單位、高等院校中都有大量的文本信息需要進(jìn)行分類處理,為了更好的管理這些文本,提高效率,利用計(jì)算機(jī)對(duì)文本處理的技術(shù)應(yīng)運(yùn)而生,本文所研究的文本分類技術(shù)主要目的是將文本的分類信息提取出來,為后續(xù)的文本分類打下基礎(chǔ),本文所研究的分類主要目的是使用支持向量機(jī)作為核心算法,設(shè)計(jì)中文文本分類系統(tǒng),并通過編程語言實(shí)現(xiàn)中文文本分類系統(tǒng),所研究的分類系統(tǒng)在具

2、有重要的意義。
　　本文所研究的基于支持向量機(jī)的設(shè)計(jì)并實(shí)現(xiàn)了對(duì)中文文本的分類,分類系統(tǒng)主要可以劃分為三部分,分別是系統(tǒng)訓(xùn)練部分、系統(tǒng)分類部分和結(jié)果處理部分,第一部分通過語料庫中的訓(xùn)練文檔進(jìn)行分類器的構(gòu)建,分類部分就是使用經(jīng)過訓(xùn)練的分類器對(duì)測試的文檔進(jìn)行分類測試,最后將分類結(jié)果進(jìn)行評(píng)估和檢測。
　　文本分類系統(tǒng)主要包含以下模塊:
　　(1)文本分類系統(tǒng)中直接調(diào)用現(xiàn)有的中國科學(xué)院的ICTCLAS分詞系統(tǒng)來實(shí)現(xiàn)對(duì)文本的預(yù)處理

3、,實(shí)現(xiàn)對(duì)中文文本分詞和停用詞處理;
　　(2)文本特征選擇模塊,通過對(duì)文本特征的分析,系統(tǒng)實(shí)現(xiàn)了對(duì)信息增益、互信息、期望交叉熵、x統(tǒng)計(jì)量和文本特征權(quán)重等五種特征選擇的方法。這些方法的具體內(nèi)容在本文的第二章l巾有詳細(xì)的闡述。
　　(3)系統(tǒng)重計(jì)算模塊,主要實(shí)現(xiàn)了TF*IDF和TF*IDF*IG兩種文本權(quán)重的計(jì)算方法。
　　(4)文本表示模塊,主要實(shí)現(xiàn)了向量空『自』模型對(duì)文本進(jìn)行表示。
　　(5)分類器的構(gòu)建模塊,該

4、模塊主要實(shí)現(xiàn)了線性、多項(xiàng)式徑向基和兩層感知器核函數(shù),并基于“一對(duì)多”思想進(jìn)行分類器的訓(xùn)練,通過訓(xùn)練完成分類器的學(xué)習(xí)過程。主要通過程序語言實(shí)現(xiàn)了中文文本分類的系統(tǒng),首先進(jìn)行了可行性分析和需要分析,然后設(shè)訃了相應(yīng)的系統(tǒng)架構(gòu),在此基礎(chǔ)上,設(shè)計(jì)了中文文本分類系統(tǒng),并日,逐一實(shí)現(xiàn)了本文第二章中所介紹文本分類過程中的相關(guān)算法。
　　(6)分類處理模塊,該模塊的主要功能是使用訓(xùn)練好的分類器對(duì)文本按次序進(jìn)行分類處理,并將分類結(jié)果通過分類展示模塊來

5、展現(xiàn)出來。
　　(7)結(jié)果展示模塊主要按照分類結(jié)果的類別進(jìn)行分類顯示。根據(jù)分類結(jié)果,對(duì)系統(tǒng)采用查全率、查準(zhǔn)率和F1值來對(duì)各個(gè)分類類別來測試分類器的性能。
　　通過使用語料庫,實(shí)現(xiàn)對(duì)系統(tǒng)的訓(xùn)練和系能的評(píng)估,逐一評(píng)價(jià)第二章中介紹的各種算法,比較其優(yōu)缺點(diǎn),選擇最優(yōu),并對(duì)整體系統(tǒng)的性能進(jìn)行測試,實(shí)驗(yàn)表明,本文所設(shè)計(jì)的系統(tǒng)具有一定的實(shí)用性。
　　綜上所述,通過對(duì)理論的學(xué)習(xí),本文實(shí)現(xiàn)了對(duì)中文文檔的分類,并取得了不錯(cuò)的效果,但系統(tǒng)需