基于統(tǒng)計視角的數(shù)據(jù)挖掘研究.pdf

1、數(shù)據(jù)挖掘是一個年輕、活躍的研究領域，不同專業(yè)背景的研究者側重于不同方面對數(shù)據(jù)挖掘展開了研究。從目前國內外的研究現(xiàn)狀看，從事數(shù)據(jù)挖掘研究的主要是計算機領域的學者和專家，統(tǒng)計界的學者和專家對數(shù)據(jù)挖掘的研究相對較少。而隨著數(shù)據(jù)存儲技術的不斷發(fā)展，可用于數(shù)據(jù)分析的數(shù)據(jù)量越來越大，對傳統(tǒng)的統(tǒng)計分析技術提出了極大的挑戰(zhàn)。筆者認為數(shù)據(jù)挖掘的出現(xiàn)，正是統(tǒng)計學適應這一變化的新的發(fā)展方向，數(shù)據(jù)挖掘并不是為了替代傳統(tǒng)的統(tǒng)計分析技術，而是統(tǒng)計分析方法的延伸和擴

2、展。本文從統(tǒng)計學視角研究數(shù)據(jù)挖掘，以期從統(tǒng)計學角度對數(shù)據(jù)挖掘理論的研究有所突破和創(chuàng)新，同時對統(tǒng)計學理論在數(shù)據(jù)挖掘方向的發(fā)展做出探索。 全文除了緒論，共分為七章。 第一章為：基于統(tǒng)計視角的數(shù)據(jù)挖掘理論體系研究。通過對數(shù)據(jù)挖掘與統(tǒng)計學理論基礎、方法等方面的比較，清晰地提出了基于統(tǒng)計視角的數(shù)據(jù)挖掘體系，改變了目前研究中人們對統(tǒng)計學與數(shù)據(jù)挖掘之間理解的模糊認識。 第二章為：數(shù)據(jù)挖掘統(tǒng)計方法綜述。首先對數(shù)據(jù)挖掘數(shù)據(jù)源、屬性

3、類型和功能三個基本問題作了界定，然后對實現(xiàn)其中的關聯(lián)、聚類、分類和回歸四項功能的統(tǒng)計方法進行綜述，并對其中一些統(tǒng)計方法從數(shù)據(jù)挖掘應用角度作了一些完善和改進。 第三章為：數(shù)據(jù)挖掘統(tǒng)計方法進一步研究。主要進行了特征描述統(tǒng)計方法研究和聚類挖掘距離函數(shù)和相似系數(shù)研究。在特征描述統(tǒng)計方法研究中，提出了在本文設計的可視化數(shù)據(jù)挖掘系統(tǒng)LaVaMiner中將把特征描述作為一個獨立的挖掘功能模塊來實現(xiàn)的思路，提出了特征描述過程模型，進而根據(jù)建立的

4、過程模型系統(tǒng)地研究了各個步驟可采用的統(tǒng)計方法。在聚類挖掘距離函數(shù)和相似系數(shù)研究中，系統(tǒng)地研究了各類屬性的距離函數(shù)和相似系數(shù)，并分析了各個距離函數(shù)和相似系數(shù)的優(yōu)缺點或適用性。 第四章為：數(shù)據(jù)挖掘質量問題研究。從數(shù)據(jù)挖掘整個過程考慮把數(shù)據(jù)挖掘質量問題分為以下三類：源數(shù)據(jù)的質量問題、數(shù)據(jù)集成時的質量問題和數(shù)據(jù)分析時的質量問題，并針對不同問題從統(tǒng)計學的角度分別提出了相應有效的解決方法。 第五章為：可視化數(shù)據(jù)挖掘原型實現(xiàn)。首先從數(shù)

5、據(jù)挖掘原型的應用場景、使用對象、過程模型和模型表示四個方面研究了數(shù)據(jù)挖掘原型設計基礎，然后設計并部分實現(xiàn)了可視化數(shù)據(jù)挖掘原型系統(tǒng)LavaMiner，這是本文的另一項重要研究內容。該系統(tǒng)具有靈活的操作過程、便捷的擴展方式和全面的接口封裝三大特點。 第六章為：數(shù)據(jù)挖掘在實際數(shù)據(jù)庫上的應用示例。完成了數(shù)據(jù)挖掘在浙江省聯(lián)通炫鈴用戶實際數(shù)據(jù)庫中的應用示例，首先介紹了實驗數(shù)據(jù)庫，然后分不同時間段來實現(xiàn)最有價值客戶的挖掘，最后作了鈴音關聯(lián)挖掘