不同類型數(shù)據(jù)間的聚類算法.pdf

1、隨著信息時(shí)代的發(fā)展,人們所能獲取的數(shù)據(jù)正成指數(shù)形式的爆炸式增長(zhǎng)。這些數(shù)據(jù)往往都具有不同的數(shù)據(jù)類型,如何在這些不同類型的數(shù)據(jù)之間建立聯(lián)系并聚類,便是本文研究的課題。我們提出通過(guò)兩個(gè)步驟來(lái)完成不同類型數(shù)據(jù)間的聚類:第一個(gè)步驟是對(duì)數(shù)據(jù)的預(yù)處理。我們重點(diǎn)介紹了對(duì)網(wǎng)頁(yè)數(shù)據(jù)的預(yù)處理,并提出了基于塊模板的網(wǎng)頁(yè)去雜算法,和基于BloomFilter的網(wǎng)頁(yè)去重算法。在網(wǎng)頁(yè)去雜算法中,我們以較小的顆粒度來(lái)提取模板,使得網(wǎng)頁(yè)去雜算法的精確度更高;同時(shí)我們利用

2、BloomFilter結(jié)構(gòu)大大降低了網(wǎng)頁(yè)去重算法的時(shí)間復(fù)雜度和空間復(fù)雜度。第二個(gè)步驟是對(duì)數(shù)據(jù)的聚類。我們提出,對(duì)不同類型的數(shù)據(jù)采用不同的聚類算法(使用K-means算法對(duì)網(wǎng)頁(yè)數(shù)據(jù)聚類,使用關(guān)聯(lián)性分析對(duì)表格數(shù)據(jù)聚類),以便充分利用不同類型數(shù)據(jù)的特點(diǎn),最后整合這些聚類的結(jié)果,從中找出不同類型數(shù)據(jù)之間的聯(lián)系,進(jìn)而完成整個(gè)聚類過(guò)程。在我們的實(shí)驗(yàn)中,我們嘗試?yán)靡陨纤惴樾庞每ㄓ脩籼峁V告信息,實(shí)驗(yàn)結(jié)果表明我們的算法可以很好的完成網(wǎng)頁(yè)數(shù)據(jù)的預(yù)處理