距離度量學(xué)習(xí)的理論與算法研究：核回歸、大間隔最近鄰與Fisher線性判別.pdf

1、距離度量學(xué)習(xí)已經(jīng)在回歸，聚類和分類等任務(wù)上發(fā)揮了重要的作用。本文分別在核同歸、大間隔最近鄰分類和Fisher線性判別分類上進(jìn)行距離度量的理論與算法研究。
　　 傳統(tǒng)的核回歸使用的是歐式距離，該距離將所有特征間的差別平等對(duì)待，不能很好的揭示內(nèi)部結(jié)構(gòu)。與歐式距離不同，馬氏距離將特征間的差別分別對(duì)待，并且不受樣本量綱大小的影響，可以很好的揭示內(nèi)部結(jié)構(gòu)。我們將馬氏距離與傳統(tǒng)的核回歸相結(jié)合的模型應(yīng)用于短時(shí)的交通流量預(yù)測(cè)，并使用梯度下降法進(jìn)

2、行參數(shù)估計(jì)。通過(guò)在實(shí)際交通流量數(shù)據(jù)上的實(shí)驗(yàn)，證明了該方法的有效性。
　　 最近提出的大間隔最近鄰分類方法大幅度提高了K近鄰分類的性能。但現(xiàn)實(shí)世界中的數(shù)據(jù)往往都呈現(xiàn)局部性，而大間隔最近鄰分類所獲得的卻是一個(gè)全局度量。因此我們提出了一種新的局部度量方法--逐級(jí)度量學(xué)習(xí)的方法來(lái)進(jìn)一步改進(jìn)大間隔最近鄰分類的性能。通過(guò)多組人工數(shù)據(jù)集和實(shí)際數(shù)據(jù)集的實(shí)驗(yàn)，證明了改進(jìn)算法的高效性。
　　 距離度量學(xué)習(xí)的目標(biāo)之一是使同類的樣本之間的距離盡

3、量縮小，不同類樣本之間的距離盡量的擴(kuò)大。Fisher線性判別的思想與距離度量的學(xué)習(xí)目標(biāo)十分一致。在現(xiàn)實(shí)世界中，大多數(shù)物體都擁有多個(gè)屬性，而這些屬性往往又可以被分成多個(gè)組。傳統(tǒng)的Fisher線性判別將所有的屬性都?xì)w到一起進(jìn)行學(xué)習(xí)。我們將多視角學(xué)習(xí)與Fisher線性判別相結(jié)合，提出了一種新的多視角Fisher線性判別。此外，傳統(tǒng)的Fisher線性判別多類類間散度是通過(guò)每類的均值和總均值之間的差值計(jì)算的，該算法沒有考慮樣本分布的局部性。為了使