水平分布式數(shù)據(jù)背景異質(zhì)性對分類算法的影響.pdf

1、隨著計算機網(wǎng)絡和數(shù)據(jù)庫技術的進一步發(fā)展，分布式計算環(huán)境的普遍存在促使分布式數(shù)據(jù)挖掘技術成為當今的一大研究熱點。在實際的分布式環(huán)境中，數(shù)據(jù)不僅在物理上是分散的，而且具有背景異質(zhì)性，現(xiàn)有的分布式數(shù)據(jù)挖掘技術能夠?qū)ξ锢砩戏稚⒌臄?shù)據(jù)進行處理和分析，卻沒有解決背景異質(zhì)性的問題，因而其應用范圍受到局限。本文以水平分布式數(shù)據(jù)的背景異質(zhì)性為研究對象，通過量化的測試這種背景異質(zhì)性對具體分類算法，全局錯分率和局部錯分率的相對變化進行了研究。主要內(nèi)容包括：

2、 ⑴介紹了數(shù)據(jù)挖掘技術發(fā)展歷史，國內(nèi)數(shù)據(jù)挖掘應用商務智能市場的發(fā)展背景和趨勢，以及國內(nèi)外分布式數(shù)據(jù)挖掘研究現(xiàn)狀，課題來源和課題研究內(nèi)容。 ⑵以數(shù)據(jù)挖掘的定義，過程以及對象為基礎，研究了分類學習的兩個基本過程，基于交叉驗證法建立分類學習器，用錯分率評估其準確性能的方法。分布式數(shù)據(jù)挖掘的發(fā)展需求和技術框架，探討了分布式計算環(huán)境中，數(shù)據(jù)分散存儲和水平分布的特點。 ⑶通過具體的商業(yè)虛擬企業(yè)水平分布式數(shù)據(jù)的特點研究，提出數(shù)據(jù)

3、源之間的差異為背景異質(zhì)性的概念；確定研究的對象是水平分布式數(shù)據(jù)的背景異質(zhì)性，并根據(jù)問題研究對象確定了研究思路和方案，軟件系統(tǒng)模型，最終建立問題研究的分析系統(tǒng)。 ⑷基于客戶購買行為和心臟病診斷兩個水平分布式實例數(shù)據(jù)集必要的預處理，參照交叉驗證的方法確立軟件系統(tǒng)分析方案，通過分析系統(tǒng)測試，分別對貝葉斯分類學習算法，函數(shù)分類學習算法，惰性分類學習算法和基于規(guī)則分類學習算法的全局錯分率和局部錯分率進行對比分析，最后，由此總結出四個數(shù)據(jù)背