云計算環(huán)境下構件資源聚類技術研究.pdf

1、隨著軟件復用及應用的深入研究，可復用軟件構件庫作為軟件復用的一項重要基礎設施已經(jīng)越來越得到產(chǎn)業(yè)界與學術界的重視。構件的查詢是構件庫的基本功能，利用聚類技術對構件進行聚類，可以實現(xiàn)構件的自動分類，有效地提高構件的查詢效率。目前，Internet上出現(xiàn)了很多專門的構件庫，但是各個專用的構件庫由于對構件的表示以及組織形式上各不相同，使用不夠靈活。現(xiàn)在對分布式構件庫方面的研究，提高了構件的管理和訪問效率，并且采用XML技術有效地解決了異質構件庫

2、的檢索問題，但構件資源的規(guī)模隨著應用的推廣會不斷擴大，負責存儲構件的中心服務器的存儲能力是有限的。此外，提供服務的增長給計算資源帶來相當大的壓力，當負載過重時，查詢構件的效率會降低，并且傳統(tǒng)模式中聚類方法在處理海量、高維和稀疏的數(shù)據(jù)上存在不足，這已成為當前研究的熱點也是一個待解決的難點。
　　 針對分布式模式的構件庫所存在的問題，由于云計算所具有的可擴展和高性能計算特性，將云計算技術運用到構件技術研究中，探討利用云存儲將網(wǎng)絡中的

3、構件資源組織起來，設計在云計算環(huán)境下的構件資源的檢索架構，著重研究這種架構中的構件聚類技術。針對傳統(tǒng)聚類方法在處理大規(guī)模數(shù)據(jù)上的不足，對聚類算法性能產(chǎn)生了很大的負面影響，結合MapReduce并行計算的研究，在云計算平臺Hadoop上設計并實現(xiàn)了基于MapReduce的聚類模型。為了減少I/O操作和CPU的性能瓶頸，通過調整算法輸入?yún)?shù)和集群數(shù)量對設計的算法進行了優(yōu)化。這在很大程序上改善了數(shù)據(jù)處理和聚類算法的可擴展性和性能要求。

4、　　 分別從數(shù)據(jù)規(guī)模、節(jié)點數(shù)量和不同任務粒度對系統(tǒng)性能的影響，以及對聚類中兩種相似性計算方法的性能進行了比較，實驗結果表明MapReduce框架提高了大型數(shù)據(jù)集的吞吐效率，可以有效減少計算時間，基于Hadoop實現(xiàn)聚類算法具有較高的擴放性和靈活性，能有效解決聚類處理中數(shù)據(jù)規(guī)模問題和實時性問題;通過調整Hadoop的實現(xiàn)來確定數(shù)據(jù)大小閾值和每個節(jié)點需要的計算任務，實驗結果表明每一項任務都有其最佳節(jié)點規(guī)模，過多的任務粒度同樣會對性能造成負