基于網(wǎng)格的聚類PSE及調(diào)度研究.pdf

1、聚類分析是數(shù)據(jù)挖掘的核心技術(shù)之一，但現(xiàn)有的多種聚類算法在編程語言的選用、對外提供的接口上存在著很大差異，這些差異給應(yīng)用聚類方法分析問題的研究人員帶來了不便。問題求解環(huán)境(Problem Solving Environment，PSE)，目前計算機應(yīng)用領(lǐng)域的研究熱點技術(shù)之一，它以一致的接口提供研究某類問題的多種技術(shù)和方法。為提高聚類分析的研究效率，便于應(yīng)用人員研究及使用各類聚類方法，本文提出將聚類算法集成在統(tǒng)一的環(huán)境內(nèi)，構(gòu)建聚類PSE。<

2、br>　　 然而，在構(gòu)建聚類PSE的過程中，我們發(fā)現(xiàn)現(xiàn)有技術(shù)難以滿足聚類過程所需的計算資源，而網(wǎng)格技術(shù)能夠有效積聚資源，可以滿足聚類過程對資源的要求。因此，作者提出將網(wǎng)格與聚類PSE相結(jié)合，構(gòu)建基于網(wǎng)格的聚類PSE(PSE for Clustering，PSE-C)，實現(xiàn)網(wǎng)格與PSE二者優(yōu)勢互補，以滿足大規(guī)模數(shù)據(jù)處理的要求。
　　 本文的主要工作和創(chuàng)新性成果如下：
　　 (1)本文提出一種基于參考點并具有分離性的快速聚

3、類算法CURS。CURS算法主要思想是：采用多個參考點來有效地表示一個聚類區(qū)域和形狀，并基于相似參考點進行小簇合并，通過引入聚類有效性指標評價新簇的質(zhì)量，重新劃分低質(zhì)量的新簇，避免低質(zhì)量簇向高層擴散。實驗結(jié)果表明，CURS算法可以處理任意形狀的聚類簇，而且由于在聚類過程中引人了質(zhì)量評價指標及簇分裂機制，該算法還能有效地處理噪聲干擾，確保聚類結(jié)果具有較強的魯棒性。
　　 (2)對CURS層次聚類算法和基于SVM的聚類算法進行了分布

4、性擴展研究。作為PSE-C底層對外提供的聚類服務(wù)：CURS聚類服務(wù)和基于SVM的聚類服務(wù)，我們對這兩種聚類算法集成到PSE平臺上的可行性進行了分析。CURS層次聚類算法因具有較好的分布性對其進行適當封裝就可較好地部署在網(wǎng)格環(huán)境中實現(xiàn)分布式聚類功能，但對于不具分布性的SVM聚類算法在集成前必須先進行算法分布性擴展。本文第三章詳細地就如何對基于SVM聚類算法進行分布性擴展作了分析，并在此基礎(chǔ)上設(shè)計了各節(jié)點上的分布式SVM聚類器模型。

5、　　 (3)本文提出并實現(xiàn)了四層網(wǎng)格架構(gòu)的PSE-C，以統(tǒng)一的接口對外提供服務(wù)。在PSE-C中，作者在參考PDE.Mart三層網(wǎng)格架構(gòu)的基礎(chǔ)上增加了中間件層Agent，該層封裝了底層網(wǎng)格服務(wù)，屏蔽了不同網(wǎng)格服務(wù)提供者問的差異并以統(tǒng)一的接口對外提供服務(wù)。另外，該層還提供了大量數(shù)據(jù)傳輸?shù)男路绞胶蛨?zhí)行用戶定義的工作流的功能，該層采用基于XML的SOAP協(xié)議進行通信，以Apache AXIS作為SOAP協(xié)議的實現(xiàn)。四層的網(wǎng)格架構(gòu)使得PSE-C

6、的靈活性、擴展性以及適應(yīng)性都比PDE.Mart有所增強。
　　 (4)對PSE-C中任務(wù)調(diào)度問題的研究。就試驗中遇到用戶提交大量任務(wù)導(dǎo)致系統(tǒng)性能明顯下降問題進行了分析，借鑒現(xiàn)有的網(wǎng)格調(diào)度算法研究成果，提出了一種改進蟻群算法的PSE-C服務(wù)調(diào)度策略。該策略主要通過引入新型信息素和任務(wù)再分配時資源選擇規(guī)則，一方面使得算法能夠跟蹤資源自身運行情況并進行標記，另一方面增加蟻群算法對服務(wù)調(diào)度不成功情況的處理，減少系統(tǒng)不必要的開銷，縮短任務(wù)