中文文本分類中特征選擇方法的研究與實現(xiàn).pdf

1、特征選擇在整個中文文本分類過程中具有重要作用。國內(nèi)現(xiàn)有的對于特征選擇方法的研究主要關(guān)注于各特征選擇方法在類分布均勻語料集上的分類效果。本文針對中文文本分類中一些特征選擇方法在類分布不均勻語料集上，分類效果大幅下降的問題，在國內(nèi)現(xiàn)有研究的基礎(chǔ)上，分析和研究了影響其分類效果的主要因素，并提出了改進方案。在此基礎(chǔ)上設(shè)計并實現(xiàn)了一個中文文本分類系統(tǒng)，為本文對中文文本分類的進一步研究提供了平臺。主要工作有：
　　 1)針對傳統(tǒng)信息增益特征

2、選擇方法在類分布不均勻語料集上分類效果明顯下降的情況，分析并指出了影響信息增益特征選擇方法分類效果的因素。結(jié)合國內(nèi)現(xiàn)有研究，在傳統(tǒng)信息增益方法的基礎(chǔ)上，去除了方法中特征詞不出現(xiàn)情況對文本分類的貢獻，同時將集中度、分散度等因素加入到特征選擇中。為了進一步提高分類效果，又將改進型信息增益方法用于權(quán)重調(diào)整技術(shù)中。
　　 2)針對傳統(tǒng)CHI統(tǒng)計特征選擇方法對低頻詞倚重大的缺點，深入分析了其對低頻詞倚重大的原因。在傳統(tǒng)CHI特征選擇方法的

3、基礎(chǔ)上，去除了方法中特征詞與類別負相關(guān)的情況。為了進一步對改進后的方法進行分析和研究，又將改進后的方法引入到特征詞權(quán)重調(diào)整技術(shù)中。與此同時，結(jié)合國內(nèi)現(xiàn)有的關(guān)于CHI統(tǒng)計特征選擇方法的研究，將集中度、分散度、頻度等因素引入到改進后的方法中，提高了該方法的分類效果。
　　 3)為了實驗和驗證上述改進方法的分類效果，同時為進一步對中文文本分類的研究提供平臺，設(shè)計和開發(fā)了一個中文文本分類系統(tǒng)。
　　 4)為了進一步發(fā)現(xiàn)和探索中文