Rough Set理論及其在數(shù)據(jù)挖掘中的應用研究.pdf_第1頁
已閱讀1頁,還剩101頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、RoughSet(又稱Rough集、粗集、粗糙集)理論是二十世紀八十年代發(fā)展起來的一種處理不精確、不確定和模糊數(shù)據(jù)的新型數(shù)學工具,它能有效地從數(shù)據(jù)本身提供的信息中發(fā)現(xiàn)有效的、潛在的知識。近年來該理論成功地在機器學習、數(shù)據(jù)挖掘、智能數(shù)據(jù)分析等領域得到了廣泛應用,受到了眾多學者的重視,取得了較大的發(fā)展。 論文就RoughSet理論在數(shù)據(jù)挖掘中的應用所涉及到的一些關鍵技術問題進行了研究。 眾所周知,在大型知識庫中,經(jīng)常存在大量

2、的冗余數(shù)據(jù)。冗余數(shù)據(jù)的存在,不僅浪費儲存空間,而且干擾了人們做出正確而簡潔的決策。所謂知識約簡,就是在保持知識庫的分類或決策能力不變的情況下,刪去其中不相關或次要的知識。論文從信息論的角度來研究信息系統(tǒng)的知識約簡問題。 論文研究和討論了RoughSet理論的代數(shù)表示和信息表示,并作了較全面、系統(tǒng)的比較和分析,并且發(fā)現(xiàn)一些規(guī)律:①當決策表的條件屬性增多時,決策屬性集相對條件屬性集的條件熵的變化規(guī)律呈非嚴格單調遞減性;②如果知識約簡

3、以決策表的核屬性集為起點,那么在向約簡結果中添加不能約簡的非核條件屬性時,決策屬性集相對約簡結果的條件熵的變化規(guī)律是單調遞減的;③知識約簡后決策表的條件熵等于初始決策表的條件熵。在上述規(guī)律的基礎上,論文提出了兩個新的基于RoughSet理論的啟發(fā)式知識約簡算法:CEBARKCC算法和CEBARKNC算法。然后,論文對CEBARKCC算法、CEBARKNC算法和基于互信息的知識約簡算法(MIBARK算法)的時間復雜度從理論和實驗上做了分析

4、與比較,得到結論:若一個決策表的核值比較大,則CEBARKCC算法和MIBARK算法的效率要優(yōu)于CEBARKNC算法;反之,則CEBARKNC算法的效率要優(yōu)于CEBARKCC算法和MIBARK算法。并且,實驗結果表明在大多數(shù)情況下,CEBARKCC算法和CEBARKNC算法能得到最小相對約簡。 事實上,數(shù)據(jù)挖掘的許多對象信息是不斷增加的,如客戶信息、銷售信息、生產(chǎn)信息、網(wǎng)絡信息等。另一方面,許多系統(tǒng)要求實現(xiàn)實時在線處理,如入侵檢

5、測系統(tǒng)、郵件分析系統(tǒng)等。針對這些應用,論文對增量式的知識獲取算法進行了研究。 論文討論了在新增數(shù)據(jù)時,新數(shù)據(jù)(樣本)與已有知識(即規(guī)則集M)的關系,對新樣本的分類進行了新的定義。并且,發(fā)現(xiàn)在新增樣本時屬性約簡及值約簡的變化規(guī)律,得到三個定理。這些定理說明:①當新增樣本x與M匹配時,最小規(guī)則集保持不變,也就是說對于決策表最小化算法的兩個步驟都不需重新計算;②如果新樣本x與M部分矛盾或類部分矛盾或類匹配,我們可以通過比較x與新增x前

6、的論域U上各個樣本在屬性約簡結果R的屬性上的值是否相等來判斷屬性約簡是否改變;③增加新樣本x后的論域U'中屬性約簡保持不變時,U中與x不矛盾的樣本之值約簡保持不變。在這些定理的基礎上,論文提出了一個新的基于RoughSet理論的增量式知識獲取算法(IKAA算法)。并且從理論和實驗上對新算法和傳統(tǒng)的基于RoughSet理論的非增量式知識獲取算法(NIKAA算法)在復雜度上做了分析與比較。研究表明:當新樣本匹配時,IKAA算法運行時間在數(shù)量

7、級上遠小于NIKAA算法;當新樣本是部分矛盾、類匹配、類部分矛盾,且R保持不變時,IKAA算法運行時間小于NIKAA算法運行時間;當新樣本是部分矛盾、類匹配、類部分矛盾,且R變化時,IKAA算法運行時間略大于NIKAA算法運行時間;當新樣本是完全矛盾、類完全矛盾時,IKAA算法運行時間略大于NIKAA算法運行時間。當然,考慮到不同種類的新增樣本的比例,一般而言IKAA算法運行時間顯然是小于NIKAA算法的運行時間。 基于Roug

8、hSet理論的應用研究較多,考慮到電子郵件過濾是當前研究的熱點,論文擬用RoughSet理論來解決這個問題。從而提出并分析了電子郵件過濾系統(tǒng)的粗糙集模型;接著,依據(jù)電子郵件過濾系統(tǒng)的粗糙集模型,建立起相應的信息模型;然后,提出了基于RoughSet理論的針對個人用戶的實時電子郵件過濾原型系統(tǒng),并通過實驗進行了驗證。研究表明基于RoughSet理論的電子郵件過濾分析是可行的,是該理論在計算機網(wǎng)絡信息安全領域具體應用的一次嘗試。 目

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論