基于網(wǎng)格的聚類PSE及調(diào)度研究.pdf

1、聚類分析是數(shù)據(jù)挖掘的核心技術(shù)之一，但現(xiàn)有的多種聚類算法在編程語(yǔ)言的選用、對(duì)外提供的接口上存在著很大差異，這些差異給應(yīng)用聚類方法分析問(wèn)題的研究人員帶來(lái)了不便。問(wèn)題求解環(huán)境(Problem Solving Environment，PSE)，目前計(jì)算機(jī)應(yīng)用領(lǐng)域的研究熱點(diǎn)技術(shù)之一，它以一致的接口提供研究某類問(wèn)題的多種技術(shù)和方法。為提高聚類分析的研究效率，便于應(yīng)用人員研究及使用各類聚類方法，本文提出將聚類算法集成在統(tǒng)一的環(huán)境內(nèi)，構(gòu)建聚類PSE。<

2、br>　　 然而，在構(gòu)建聚類PSE的過(guò)程中，我們發(fā)現(xiàn)現(xiàn)有技術(shù)難以滿足聚類過(guò)程所需的計(jì)算資源，而網(wǎng)格技術(shù)能夠有效積聚資源，可以滿足聚類過(guò)程對(duì)資源的要求。因此，作者提出將網(wǎng)格與聚類PSE相結(jié)合，構(gòu)建基于網(wǎng)格的聚類PSE(PSE for Clustering，PSE-C)，實(shí)現(xiàn)網(wǎng)格與PSE二者優(yōu)勢(shì)互補(bǔ)，以滿足大規(guī)模數(shù)據(jù)處理的要求。
　　 本文的主要工作和創(chuàng)新性成果如下：
　　 (1)本文提出一種基于參考點(diǎn)并具有分離性的快速聚

3、類算法CURS。CURS算法主要思想是：采用多個(gè)參考點(diǎn)來(lái)有效地表示一個(gè)聚類區(qū)域和形狀，并基于相似參考點(diǎn)進(jìn)行小簇合并，通過(guò)引入聚類有效性指標(biāo)評(píng)價(jià)新簇的質(zhì)量，重新劃分低質(zhì)量的新簇，避免低質(zhì)量簇向高層擴(kuò)散。實(shí)驗(yàn)結(jié)果表明，CURS算法可以處理任意形狀的聚類簇，而且由于在聚類過(guò)程中引人了質(zhì)量評(píng)價(jià)指標(biāo)及簇分裂機(jī)制，該算法還能有效地處理噪聲干擾，確保聚類結(jié)果具有較強(qiáng)的魯棒性。
　　 (2)對(duì)CURS層次聚類算法和基于SVM的聚類算法進(jìn)行了分布

4、性擴(kuò)展研究。作為PSE-C底層對(duì)外提供的聚類服務(wù)：CURS聚類服務(wù)和基于SVM的聚類服務(wù)，我們對(duì)這兩種聚類算法集成到PSE平臺(tái)上的可行性進(jìn)行了分析。CURS層次聚類算法因具有較好的分布性對(duì)其進(jìn)行適當(dāng)封裝就可較好地部署在網(wǎng)格環(huán)境中實(shí)現(xiàn)分布式聚類功能，但對(duì)于不具分布性的SVM聚類算法在集成前必須先進(jìn)行算法分布性擴(kuò)展。本文第三章詳細(xì)地就如何對(duì)基于SVM聚類算法進(jìn)行分布性擴(kuò)展作了分析，并在此基礎(chǔ)上設(shè)計(jì)了各節(jié)點(diǎn)上的分布式SVM聚類器模型。

5、　　 (3)本文提出并實(shí)現(xiàn)了四層網(wǎng)格架構(gòu)的PSE-C，以統(tǒng)一的接口對(duì)外提供服務(wù)。在PSE-C中，作者在參考PDE.Mart三層網(wǎng)格架構(gòu)的基礎(chǔ)上增加了中間件層Agent，該層封裝了底層網(wǎng)格服務(wù)，屏蔽了不同網(wǎng)格服務(wù)提供者問(wèn)的差異并以統(tǒng)一的接口對(duì)外提供服務(wù)。另外，該層還提供了大量數(shù)據(jù)傳輸?shù)男路绞胶蛨?zhí)行用戶定義的工作流的功能，該層采用基于XML的SOAP協(xié)議進(jìn)行通信，以Apache AXIS作為SOAP協(xié)議的實(shí)現(xiàn)。四層的網(wǎng)格架構(gòu)使得PSE-C

6、的靈活性、擴(kuò)展性以及適應(yīng)性都比PDE.Mart有所增強(qiáng)。
　　 (4)對(duì)PSE-C中任務(wù)調(diào)度問(wèn)題的研究。就試驗(yàn)中遇到用戶提交大量任務(wù)導(dǎo)致系統(tǒng)性能明顯下降問(wèn)題進(jìn)行了分析，借鑒現(xiàn)有的網(wǎng)格調(diào)度算法研究成果，提出了一種改進(jìn)蟻群算法的PSE-C服務(wù)調(diào)度策略。該策略主要通過(guò)引入新型信息素和任務(wù)再分配時(shí)資源選擇規(guī)則，一方面使得算法能夠跟蹤資源自身運(yùn)行情況并進(jìn)行標(biāo)記，另一方面增加蟻群算法對(duì)服務(wù)調(diào)度不成功情況的處理，減少系統(tǒng)不必要的開(kāi)銷，縮短任務(wù)