基于數(shù)據(jù)分布特征的文本分類研究.pdf

1、隨著因特網(wǎng)迅猛地向前發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為一種不可缺少的信息傳播媒介。數(shù)字化圖書館，新聞資源等Web信息量呈幾何級增長，出現(xiàn)了像文檔檢索、圖像匹配、氣象預(yù)報、入侵檢測，基因工程分析等大量機器學習問題。面對信息爆炸帶來的挑戰(zhàn)，人們迫切需要更快更有效地獲取這類信息，用傳統(tǒng)的人工分類方法去處理這些問題已經(jīng)變得捉襟見肘，借助計算機工作便成為最佳選擇。
　　當前文本分類是一個熱點研究領(lǐng)域，開展此項工作具有重要的研究價值和現(xiàn)實意義。在文本分類技

2、術(shù)的研究過程中，雖然提出了許多方式方法，并且有些方法已經(jīng)相對成熟且分類效果不錯，但實用性強的分類技術(shù)仍舊比較缺乏。不少分類模型和特征選擇算法的復(fù)雜性比較高，實現(xiàn)過程過于復(fù)雜而導(dǎo)致訓(xùn)練和分類的效率低下，難以應(yīng)付實際當中碰到的龐大數(shù)據(jù)集。如何從海量數(shù)據(jù)中找到需要的目標信息是文本分類的一項重要的任務(wù)。如何提高文本分類的準確率和運行效率（時間復(fù)雜度，空間復(fù)雜度）是一個需要不斷深刻思考的課題。
　　特征選擇方法與分類算法是文本分類技術(shù)當中兩

3、塊核心內(nèi)容，絕大多數(shù)研究人員都致力于其方法的探索與改進，許多新方法付諸的應(yīng)用都取得了不錯的成績?？傊?，這是一項很有必要也非常有前途的研究。
　　本文針對數(shù)據(jù)語料類別數(shù)據(jù)不均衡，從特征選擇方法和文本分類器方面進行研究，大致內(nèi)容如下:
　　(1)基于改進的類別分布特征選擇方法
　　在文本特征降維空間中，本文發(fā)現(xiàn)基于Fisher思想的特征選擇方法應(yīng)該兼具考慮類內(nèi)、類間方差，這樣才可以得到具有更好類別區(qū)分能力的特征。具體到本文

4、工作所面向的類別數(shù)據(jù)分布是不均衡的，為此在充分考慮類別之間樣本數(shù)差異的基礎(chǔ)上，作者提出了一種基于改進的類別分布特征選擇方法。該方法可以選出在類別間差異比較大的特征而且還可以靈活地調(diào)整類別的權(quán)重，實驗表明該方法在非平衡語料上結(jié)果很好，說明它在稀有類別上可以達到不錯的效果。
　　(2)基于推拉方法的非平衡中文文本分類
　　從分類器學習角度，為了論證推拉方法優(yōu)于SVM，KNN。本文首先介紹了傳統(tǒng)分類方法涉及的相關(guān)知識，提出了傳統(tǒng)分