距離度量學習中的類別不平衡問題研究.pdf

1、距離度量學習學習樣本之間的距離度量，為估計樣本相似性提供更可靠的依據。很多經典的分類算法如k近鄰、以及聚類算法如層次聚類等都非常依賴樣本之間的距離度量方式，因此，距離度量學習是機器學習和數(shù)據挖掘中一類很重要的學習問題。在現(xiàn)實世界中類別不平衡問題普遍存在，類別不平衡問題是指各個類別的樣本數(shù)差異明顯，某些類別樣本數(shù)遠遠小于其他類別，小類別是關注的重點，重要性大。距離度量學習也會遭遇到類別分布不平衡的情況。距離度量學習算法通常通過優(yōu)化某個距離

2、度量損失函數(shù)，得到新的距離度量方式。但是當類別不平衡時，由于小類別的樣本數(shù)少，在已有的距離度量學習算法中對學習過程的影響較小，導致算法通常會關注大類樣本而忽略小類樣本距離度量的準確性。然而，在類別不平衡問題中，小類樣本重要性更高，距離度量學習應該更關注小類樣本距離度量學習的準確性。目前尚無對距離度量學習中類別不平衡問題的研究。
　　本文針對距離度量學習中的類別不平衡問題進行研究，主要取得了以下成果:
　　(1)以LMNN算法

3、為基礎，提出考慮類別不平衡性的距離度量學習算法IMLMNN算法。此方法是一種有監(jiān)督的距離度量學習算法，在距離度量學習算法LMNN的基礎上處理類別不平衡性帶來的問題，優(yōu)化加權的距離度量損失函數(shù)，樣本權重與其所在類別的樣本數(shù)成反比。因此IMLMNN使得小類具有更高的權重，小類樣本的距離度量帶來的損失在學習過程中的影響就更大，導致小類樣本距離度量的準確性更高。
　　(2)由于在距離度量學習階段僅使得小類的距離度量更準確，而沒有改變小類樣

4、本集的大小，所以在基于度量學習的分類任務中仍要考慮類別分布的不平衡性。因此，在分類階段使用考慮類別不平衡性的改進的kNN算法IMKNN算法進行分類。IMKNN是一種加權的kNN算法，近鄰樣本加權投票進行決策，樣本權重與其所在類別的樣本數(shù)成反比。
　　此外IMLMNN算法在學習到距離度量的基礎上使用INNN方法進行分類，也可以看做是一種新型的類別不平衡學習方法。此方法既適用于兩類問題，又適用于多類問題。
　　在多個兩類和多類數(shù)