廣義馬氏距離及其在數(shù)據(jù)挖掘中的應(yīng)用研究.pdf

1、距離是科學(xué)研究與工程技術(shù)領(lǐng)域中使用非常廣泛的一種度量,通常被用作衡量兩個個體間的相似性,如,聚類分類中的相似性可以用距離來度量;圖像匹配中的匹配度可以用距離描述;信息安全中的過濾準(zhǔn)則也可以距離來刻畫等等。從公元三世紀(jì)創(chuàng)立的歐式幾何至今,距離計算方法的發(fā)展十分緩慢。隨著電子商務(wù)的高速發(fā)展,數(shù)據(jù)挖掘的熱潮再次席卷而來,研究一種新的能夠克服現(xiàn)有距離相似性缺點(diǎn)并更適合于數(shù)據(jù)挖掘領(lǐng)域的距離具有較大的意義。
　　 本文以數(shù)據(jù)挖掘?yàn)楸尘?研發(fā)

2、了一種新的更能體現(xiàn)數(shù)據(jù)間相關(guān)性的相似性計算方法,并分別將其應(yīng)用于傳統(tǒng)數(shù)據(jù)挖掘中的缺損數(shù)據(jù)補(bǔ)值、新興的不確定數(shù)據(jù)挖掘以及分布式數(shù)據(jù)挖掘領(lǐng)域,理論證明和實(shí)驗(yàn)結(jié)果均說明了新距離相似性的優(yōu)越性能。
　　 主要工作如下:
　　 1.總結(jié)數(shù)據(jù)挖掘領(lǐng)域中的距離計算方法。在數(shù)據(jù)挖掘領(lǐng)域中,常用的距離相似性計算方法有Euclidean距離、Manhattan距離、Mahalanobis距離等,根據(jù)各種距離的計算形式分析了它們的優(yōu)缺點(diǎn),為下

3、文研究新的距離提供了依據(jù)。
　　 2.提出了MP馬氏距離(Moore-Penrose Mahalanobis Distance)并應(yīng)用于缺損數(shù)據(jù)補(bǔ)值。馬氏距離相比其它距離,較充分的考慮了數(shù)據(jù)之間的相關(guān)性且不受量綱影響,鑒于該距離中使用的逆矩陣可能不存在的缺點(diǎn),通過奇異值分解構(gòu)造了基于Moore-Penrose逆的MP馬氏距離,它不受逆矩陣是否存在的影響。在改進(jìn)了復(fù)相關(guān)系數(shù)倒數(shù)賦權(quán)法后,將MP馬氏距離應(yīng)用于缺損數(shù)據(jù)補(bǔ)值,實(shí)驗(yàn)結(jié)果不

4、僅驗(yàn)證了MP馬氏距離的任意存在性,而且在準(zhǔn)確性上也略優(yōu)于馬氏距離。
　　 3.提出了WMP馬氏距離(Weighted Moore-Penrose Mahalanobis Distance)并應(yīng)用于聚類分析。MP馬氏距離雖然對任意數(shù)據(jù)集都存在,但其體現(xiàn)的數(shù)據(jù)相關(guān)性過于客觀,可能導(dǎo)致信息錯誤和挖掘結(jié)果非常糟糕。根據(jù)實(shí)對稱矩陣的譜分解理論以及加權(quán)Moore-Penrose逆,提出了WMP馬氏距離。結(jié)合經(jīng)典的聚類算法進(jìn)行了仿真分析,結(jié)果

5、表明WMP馬氏距離在體現(xiàn)數(shù)據(jù)相關(guān)性的準(zhǔn)確性上有很大的提高。
　　 4.研究了一種新的不確定數(shù)據(jù)挖掘框架。一般的數(shù)據(jù)挖掘過程中,原始數(shù)據(jù)本身可能不準(zhǔn)確,數(shù)據(jù)的預(yù)處理可能帶來不確定性,數(shù)據(jù)集成等步驟也可能給數(shù)據(jù)集帶來不確定性,而常見的數(shù)據(jù)挖掘算法均是針對確定性數(shù)據(jù)的,因此,傳統(tǒng)挖掘方式本身存在著一定的弊端。提出了一種新的基于概率維度的不確定數(shù)據(jù)挖掘框架,并構(gòu)造了它的實(shí)例,探討了結(jié)合wMP馬氏距離應(yīng)用的相關(guān)研究方向。
　　 5