基于鄰域粗糙集的屬性約簡和樣本約減算法研究及在文本分類中的應(yīng)用.pdf

1、科學(xué)技術(shù)和社會經(jīng)濟(jì)的飛速發(fā)展，各個(gè)領(lǐng)域的數(shù)據(jù)急劇增加，為了從海量的數(shù)據(jù)中提煉出對人們有用的信息，需要對數(shù)據(jù)進(jìn)行處理，進(jìn)而達(dá)到信息的有效利用。在分類方法的學(xué)習(xí)過程中，數(shù)據(jù)集中的樣本往往是大量的，并非所有的樣本及其屬性對分類器都有貢獻(xiàn)，有些樣本或?qū)傩陨踔習(xí)档头诸惼鞯姆诸惥?。約減掉這些樣本和屬性，不但能夠縮短分類時(shí)間，提高分類效率，而且能夠節(jié)省存儲空間。因而，研究數(shù)據(jù)的屬性約簡和樣本約減是進(jìn)行數(shù)據(jù)分類之前的重要研究內(nèi)容，具有十分重要的理論

2、意義。
　　鄰域粗糙集模型的提出擴(kuò)展了經(jīng)典粗糙集理論，克服了經(jīng)典粗糙集只能處理符號型的數(shù)值屬性的不足。鄰域粗糙集模型不僅能夠處理符號型數(shù)值屬性，也能處理連續(xù)型數(shù)值屬性，具有重要的現(xiàn)實(shí)應(yīng)用意義。本文借鑒鄰域粗糙集的基本思想，改進(jìn)了基于正域的屬性約簡算法只考慮被正確區(qū)分樣本數(shù)的不足，并且分析了樣本約減過程中樣本空間中樣本的分布不均勻?qū)Ψ诸惥鹊挠绊?。本文的主要?jiǎng)?chuàng)新點(diǎn)有:
　　(1)定義了區(qū)分對象集的概念，并探討了其基本性質(zhì)，進(jìn)而

3、提出了基于區(qū)分對象集的屬性重要度度量。傳統(tǒng)的基于正域的屬性約簡算法是利用正域的思想，僅考慮被正確區(qū)分樣本數(shù)的約簡算法。本文借鑒邊界域的思想，提出了區(qū)分對象集的概念。
　　(2)根據(jù)(1)所提，設(shè)計(jì)了改進(jìn)的基于鄰域粗糙集的啟發(fā)式屬性約簡算法。該約簡算法在處理信息決策表的屬性時(shí)，既考慮信息決策表的相對正域，也考慮以核屬性為啟發(fā)信息逐個(gè)增加條件屬性時(shí)對邊界域樣本的影響。當(dāng)增加某一屬性時(shí)，若能引起邊界域樣本數(shù)變化最大，則該屬性對決策表的影

4、響最大，從而實(shí)現(xiàn)信息決策表的屬性約簡。
　　(3)在(2)中所提屬性約簡的基礎(chǔ)上進(jìn)行樣本約減。鑒于類別的分布密度對樣本約減影響很大，本文提出了一種基于密度的鄰域模型樣本約減方法，即依據(jù)樣本的分布密度對其進(jìn)行約減。應(yīng)用鄰域模型對最大密度差類別內(nèi)樣本進(jìn)行約減，選取鄰域樣本數(shù)最多的樣本，將其保留到約減后的樣本集中，該樣本鄰域內(nèi)的其他所有樣本都被刪掉，從而去除原樣本集最大密度差類別內(nèi)多余樣本，使類別內(nèi)樣本分布更加均勻。
　　(4)將