基于預(yù)聚類的并行序貫?zāi)Ｊ綌?shù)據(jù)挖掘（CLUSP）的研究與應(yīng)用.pdf

1、本文探討了數(shù)據(jù)挖掘領(lǐng)域中序貫?zāi)Ｊ酵诰虻哪康?、一般方法及其并行化方?針對并行序貫?zāi)Ｊ酵诰蛑行枰獣r間最長的部分——并行計算節(jié)點之間的通信問題,提出了一種新的并行序貫?zāi)Ｊ酵诰蛩惴?"基于預(yù)聚類的并行序貫?zāi)Ｊ綌?shù)據(jù)挖掘CLUSP算法(Pre-Clustered Sequential Pattern Data Mining)".CLUSP算法首先對原始數(shù)據(jù)序列進行"預(yù)聚類"處理,根據(jù)數(shù)據(jù)序列之間的相似程度(以同一個順序出現(xiàn)的子序列的長度與原序列長

2、度之間的比值)不同,把原始數(shù)據(jù)序列劃分為不同的"類",使得類內(nèi)數(shù)據(jù)序列間的相似度較大而類間數(shù)據(jù)序列間的相似度較小.然后把這些類分布到各個計算節(jié)點中,并把同一個類分到一個或者一組節(jié)點中,不同的類分布到不同的節(jié)點(組)中.然后,在調(diào)度并行序貫?zāi)Ｊ剿惴▓?zhí)行的時候,根據(jù)以上信息,將大部分通信限制在緊密聯(lián)結(jié)的節(jié)點(組)之內(nèi),從而減少了整個計算網(wǎng)絡(luò)上的通信量,達到減少通信時間開銷、提高整體執(zhí)行效率的目的.經(jīng)過模擬數(shù)據(jù)實驗證明,在一般適于劃分聚類的數(shù)

3、據(jù)集上,CLUSP算法能使序貫?zāi)Ｊ酵诰虻恼w性能顯著提高.本文還將CLUSP算法整合到"基于集群式計算機的并行數(shù)據(jù)挖掘系統(tǒng)"平臺中,利用平臺提供的資源對用戶提供決策支持.具體用于對某電梯公司銷售的電梯的維護/維修歷史數(shù)據(jù)序列進行序貫?zāi)Ｊ降耐诰?應(yīng)用結(jié)果表明,CLUSP算法在實際數(shù)據(jù)挖掘和決策支持上取得較好的效果.本文由上海市科委"基于高性能計算的數(shù)據(jù)挖掘和知識發(fā)現(xiàn)"項目(01JC14022)和上海市教委"第四期重點學(xué)科"項目(20515