網(wǎng)格環(huán)境下面向服務(wù)的分布式數(shù)據(jù)挖掘研究與實現(xiàn).pdf

1、目前，無論是數(shù)字化管理的需要還是后工業(yè)化進程的要求，都使我們?nèi)找婷鎸σ郧盁o法想象的海量數(shù)據(jù)。雖然數(shù)據(jù)挖掘技術(shù)已經(jīng)在醫(yī)學(xué)診斷、市場與銷售、圖像篩選、負(fù)載預(yù)測等領(lǐng)域得到了廣泛的應(yīng)用，但是面對日益爆炸式增長的數(shù)據(jù)和高度復(fù)雜的計算模型，傳統(tǒng)的集中式數(shù)據(jù)挖掘技術(shù)已顯得有些力不從心，必須利用分布式、并行計算技術(shù)將其過渡到新的處理模式上。網(wǎng)格技術(shù)和We服務(wù)技術(shù)的出現(xiàn)，為分布式數(shù)據(jù)挖掘的研究帶來了新的契機，因為網(wǎng)格技術(shù)可以將分散在不同地理位置的各種異構(gòu)

2、資源有機地整合起來形成一個具有超級計算能力的平臺，從而達到計算資源、存儲資源、算法資源、信息資源等的全面共享，而Web服務(wù)作為一種新興的Web應(yīng)用模式和分布式計算模型，正可以用來解決各種異構(gòu)資源之間的互操作和互通信問題。因此，在網(wǎng)格環(huán)境下，將Web服務(wù)技術(shù)應(yīng)用到數(shù)據(jù)挖掘領(lǐng)域是一個全新的理念，利用Web服務(wù)機制對服務(wù)的發(fā)布、發(fā)現(xiàn)及管理來達到資源的共享，有效地彌補網(wǎng)格資源的動態(tài)性及分布性。本文在深入研究相關(guān)理論的基礎(chǔ)上，對如何將網(wǎng)格與Web

3、服務(wù)技術(shù)融合并應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域做了初步的探索，主要工作包括： （1）結(jié)合數(shù)據(jù)挖掘的全過程提出了面向服務(wù)的基于工作流的數(shù)據(jù)挖掘管道模型，基于此模型提出并設(shè)計了一種新型的面向服務(wù)的分布式數(shù)據(jù)挖掘平臺SODDM體系結(jié)構(gòu)，實現(xiàn)了用戶可以交互式地完成整個數(shù)據(jù)挖掘任務(wù)的執(zhí)行。 （2）利用Web服務(wù)的發(fā)布與發(fā)現(xiàn)機制設(shè)計并實現(xiàn)了面向服務(wù)的分布式數(shù)據(jù)挖掘門戶PDDM。構(gòu)建了私有的UDDI注冊中心來對服務(wù)資源進行統(tǒng)一的存儲和管理，不僅為提

4、供者發(fā)布服務(wù)提供宿主，同時能為請求者查找服務(wù)提供基礎(chǔ)。在服務(wù)查找時提出了一種新型的服務(wù)質(zhì)量計算模型來度量用戶對服務(wù)的滿意度。 （3）基于Weka類庫開發(fā)了一系列通用的、可擴展的數(shù)據(jù)挖掘工具，包括數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、算法選擇、算法參數(shù)配置、屬性選擇及結(jié)果集的表示。這些工具集可以使用戶交互式地參與整個數(shù)據(jù)挖掘過程，同時也能與數(shù)據(jù)挖掘服務(wù)進行動態(tài)組合，完成數(shù)據(jù)挖掘管道的構(gòu)建。 （4）隨著網(wǎng)格與Web服務(wù)的融合，越來越多的資源會

5、以Web服務(wù)的形式提供，以分布式問題求解環(huán)境Triana和開源數(shù)據(jù)挖掘類庫Weka為底層支撐環(huán)境，設(shè)計并實現(xiàn)了面向服務(wù)的分布式數(shù)據(jù)挖掘系統(tǒng)DDMWS，實現(xiàn)了對PDDM門戶中查找到的數(shù)據(jù)挖掘服務(wù)的導(dǎo)入、組合和調(diào)用。此外，系統(tǒng)能以工作流形式靈活地構(gòu)建數(shù)據(jù)挖掘管道，用來支持交互式、分布式和并行數(shù)據(jù)挖掘的實現(xiàn)。 （5）本文對所提出的SODDM平臺進行了有效性驗證，利用WAT對PDDM門戶進行了定量分析，測試門戶能夠承受并發(fā)用戶的數(shù)目；利

6、用校園網(wǎng)搭建虛擬網(wǎng)格實驗環(huán)境，基于該環(huán)境對DDMWS系統(tǒng)的可用性及通用性進行了論證，分別采用分類、聚類、關(guān)聯(lián)規(guī)則進行了系統(tǒng)驗證，結(jié)果表明該系統(tǒng)可以有效地解決各類分布式/并行數(shù)據(jù)挖掘任務(wù)。 基于上述對本文工作內(nèi)容的總結(jié)及目前國內(nèi)外對該課題的研究現(xiàn)狀，本文研究工作的特色在于： （1）結(jié)合數(shù)據(jù)挖掘領(lǐng)域的特點，提取了一組服務(wù)質(zhì)量參數(shù)及計算模型。并定義了服務(wù)質(zhì)量的計算方法，用來為請求者提供滿意的服務(wù)提供質(zhì)量擔(dān)保。 （2）構(gòu)