距離度量學習的理論與算法研究：核回歸、大間隔最近鄰與Fisher線性判別.pdf

1、距離度量學習已經在回歸，聚類和分類等任務上發(fā)揮了重要的作用。本文分別在核同歸、大間隔最近鄰分類和Fisher線性判別分類上進行距離度量的理論與算法研究。
　　 傳統(tǒng)的核回歸使用的是歐式距離，該距離將所有特征間的差別平等對待，不能很好的揭示內部結構。與歐式距離不同，馬氏距離將特征間的差別分別對待，并且不受樣本量綱大小的影響，可以很好的揭示內部結構。我們將馬氏距離與傳統(tǒng)的核回歸相結合的模型應用于短時的交通流量預測，并使用梯度下降法進

2、行參數估計。通過在實際交通流量數據上的實驗，證明了該方法的有效性。
　　 最近提出的大間隔最近鄰分類方法大幅度提高了K近鄰分類的性能。但現實世界中的數據往往都呈現局部性，而大間隔最近鄰分類所獲得的卻是一個全局度量。因此我們提出了一種新的局部度量方法--逐級度量學習的方法來進一步改進大間隔最近鄰分類的性能。通過多組人工數據集和實際數據集的實驗，證明了改進算法的高效性。
　　 距離度量學習的目標之一是使同類的樣本之間的距離盡

3、量縮小，不同類樣本之間的距離盡量的擴大。Fisher線性判別的思想與距離度量的學習目標十分一致。在現實世界中，大多數物體都擁有多個屬性，而這些屬性往往又可以被分成多個組。傳統(tǒng)的Fisher線性判別將所有的屬性都歸到一起進行學習。我們將多視角學習與Fisher線性判別相結合，提出了一種新的多視角Fisher線性判別。此外，傳統(tǒng)的Fisher線性判別多類類間散度是通過每類的均值和總均值之間的差值計算的，該算法沒有考慮樣本分布的局部性。為了使