Sparse方法在多標(biāo)簽分類中的應(yīng)用.pdf

1、分類是數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)之一。在傳統(tǒng)的分類學(xué)習(xí)中，假定每個(gè)樣本只屬于一個(gè)類別標(biāo)簽。而在現(xiàn)實(shí)應(yīng)用中，每個(gè)樣本可以和多個(gè)類別標(biāo)簽相關(guān)聯(lián)，例如一篇關(guān)于巴西世界杯的新聞報(bào)道，可以同時(shí)被貼上“運(yùn)動(dòng)會(huì)”、“足球”和“巴西”等多個(gè)標(biāo)簽;根據(jù)不同的使用目的，一臺(tái)電腦可以同時(shí)擁有“影音”、“科研”和“網(wǎng)上購(gòu)物”等多個(gè)功能，這類問(wèn)題統(tǒng)稱為多標(biāo)簽問(wèn)題。多標(biāo)簽分類學(xué)習(xí)已經(jīng)在文檔分類、信息檢索和生物信息學(xué)等多個(gè)領(lǐng)域得到廣泛應(yīng)用。然而，與傳統(tǒng)分類學(xué)習(xí)相比，多標(biāo)

2、簽學(xué)習(xí)面臨更多的挑戰(zhàn)。首先，在多標(biāo)簽學(xué)習(xí)中，標(biāo)簽之間通常不是互相獨(dú)立的，而是存在相關(guān)性。如何度量這種相關(guān)性，并利用標(biāo)簽之間的相關(guān)性來(lái)提高分類器的性能是一個(gè)開(kāi)放問(wèn)題。其次，與傳統(tǒng)的單標(biāo)簽分類相似，多標(biāo)簽學(xué)習(xí)同樣受到高維數(shù)據(jù)的影響，而且高維性在樣本的屬性空間和標(biāo)簽空間中同時(shí)存在。特別地，隨著標(biāo)簽數(shù)目的增加，標(biāo)簽變量空間一般比較稀疏，這種稀疏性給多標(biāo)簽學(xué)習(xí)帶來(lái)了挑戰(zhàn)，也帶來(lái)了機(jī)遇。
　　本文針對(duì)多標(biāo)簽學(xué)習(xí)中遇到的問(wèn)題，通過(guò)對(duì)不同的偏最小

3、二乘回歸(PLSR)模型進(jìn)行改造，提出三種新的多標(biāo)簽分類算法。理論分析和模擬實(shí)驗(yàn)表明，這三種多標(biāo)簽分類算法都可以獲得有效的分類結(jié)果。利用奇異值分解(SVD)可以有效地提取矩陣空間重要信息的特點(diǎn)，提出基于SVD-PLSR的多標(biāo)簽分類算法，用于處理多標(biāo)簽數(shù)據(jù)(Multi-label Data)，簡(jiǎn)稱SPMD。該算法能夠?qū)Χ鄻?biāo)簽數(shù)據(jù)同時(shí)進(jìn)行維數(shù)約簡(jiǎn)和回歸分析。首先，將類別標(biāo)簽集合作為一個(gè)整體處理來(lái)探索標(biāo)簽相關(guān)性;其次，通過(guò)奇異值分解技術(shù)求得樣

4、本空間和標(biāo)簽空間的得分向量。最后，在偏最小二乘回歸技術(shù)的基礎(chǔ)上得到多標(biāo)簽分類模型。利用嶺回歸(Ridge regression)可以處理變量多重共線性的技術(shù)特點(diǎn)，在偏最小二乘判別分析(PLS-DA)的基礎(chǔ)上，提出命名為RPLS-DA多標(biāo)簽分類算法。該算法對(duì)PLS-DA算法施加l2約束，克服了PLS-DA在處理高維數(shù)據(jù)時(shí)遇到的“高維數(shù)，小樣本”問(wèn)題。利用稀疏學(xué)習(xí)模型LASSO對(duì)非線性迭代偏最小二乘回歸(NIPALS)進(jìn)行稀疏改造，提出基于