基于SVM的中文文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)上的信息爆炸式的增長，其中海量的信息以文本形式存在，另外在企業(yè)、科研單位、高校等機(jī)構(gòu)組織中都積累了大量的文本文檔，為了管理和利用這些文本信息，文本處理技術(shù)應(yīng)運(yùn)而生，其中的文本分類能將文本所屬的類別提取出來，為后續(xù)的文本處理打下基礎(chǔ)，所以研究文本分類有十分重要的意義。
　　 本文基于支持向量機(jī)設(shè)計(jì)并實(shí)現(xiàn)了中文文本分類系統(tǒng)，系統(tǒng)劃分為：訓(xùn)練、分類和結(jié)果展示三個(gè)部分。訓(xùn)練部分使用訓(xùn)練文檔進(jìn)行分類器的構(gòu)建，分類部分使用分類器對(duì)測(cè)試

2、文檔進(jìn)行分類處理，結(jié)果展示部分對(duì)分類結(jié)果進(jìn)行評(píng)估和展示。
　　 系統(tǒng)包含的模塊如下：
　　 ①文本預(yù)處理模塊，包含中文分詞和停用詞處理，本文采用中科院ICTCLAS分詞工具實(shí)現(xiàn)。
　　 ②特征選擇模塊，實(shí)現(xiàn)了信息增益、互信息、期望交叉熵、x2統(tǒng)計(jì)量和文本證據(jù)權(quán)重五種特征選擇方法。
　　 ③重計(jì)算模塊，實(shí)現(xiàn)了TF*IDF和TF*IDF*IG兩種權(quán)重計(jì)算方法。
　　 ④文本表示模塊，采用向量空間模型對(duì)

3、文本進(jìn)行表示。
　　 ⑤分類器構(gòu)建模塊，實(shí)現(xiàn)了線性、多項(xiàng)式、徑向基和兩層感知器核函數(shù)并基于“一對(duì)多”思想進(jìn)行分類器的訓(xùn)練。
　　 ⑥分類處理模塊，使用訓(xùn)練好的分類器依次對(duì)文本進(jìn)行分類處理。
　　 ⑦結(jié)果展示模塊，按照類別分組顯示分類結(jié)果，并采用查全率、查準(zhǔn)率和F1值評(píng)估各個(gè)類別的分類性能。
　　 本文基于Sogou語料進(jìn)行實(shí)驗(yàn)，對(duì)不同的概率估算方式、特征選擇方式、特征選擇方法、權(quán)重計(jì)算方法、核函數(shù)種類的分