結(jié)合稀疏學(xué)習(xí)和超圖的低秩屬性選擇算法.pdf

1、數(shù)據(jù)挖掘是指從大量復(fù)雜數(shù)據(jù)中尋找和提取有用規(guī)律，形成有用模式，得到價(jià)值的過(guò)程。隨著現(xiàn)代科技水平的發(fā)展，尤其是近年大數(shù)據(jù)概念的提出，我們正進(jìn)入一個(gè)數(shù)據(jù)資源極其豐富的時(shí)代，數(shù)據(jù)挖掘技術(shù)正得到越來(lái)越多的重視，在工業(yè)發(fā)展，醫(yī)療衛(wèi)生，信息產(chǎn)業(yè)等諸多領(lǐng)域發(fā)揮著重要的作用。
　　隨著數(shù)據(jù)維度的增加，隨之給數(shù)據(jù)挖掘任務(wù)帶來(lái)更多挑戰(zhàn)，例如屬性之間的冗余，增加了數(shù)據(jù)的存儲(chǔ)空間。一般高維數(shù)據(jù)不宜在實(shí)際應(yīng)用中直接使用，而且對(duì)高維數(shù)據(jù)進(jìn)行處理會(huì)大大增加數(shù)據(jù)

2、處理的時(shí)間和空間復(fù)雜度。因此，如何有效地并且高效地利用高維數(shù)據(jù)在數(shù)據(jù)的預(yù)處理過(guò)程中是一個(gè)重大的挑戰(zhàn)。高維數(shù)據(jù)并不是毫無(wú)結(jié)構(gòu)的，對(duì)高維數(shù)據(jù)進(jìn)行屬性約簡(jiǎn)可以縮小數(shù)據(jù)維度。屬性選擇方法可以選擇出小部分重要且具有代表性的屬性作為新的屬性集，并且能夠維持原高維數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)甚至可以提高分類效果，因而成為機(jī)器學(xué)習(xí)的一個(gè)重要領(lǐng)域。常見的屬性約簡(jiǎn)的方法有兩種，即子空間學(xué)習(xí)方法和屬性約簡(jiǎn)方法[1,2]。子空間學(xué)習(xí)法是將高維數(shù)據(jù)空間投影到低維數(shù)據(jù)空間，保持

3、了數(shù)據(jù)間的相關(guān)性。屬性選擇方法是通過(guò)一種預(yù)設(shè)標(biāo)準(zhǔn)對(duì)每個(gè)屬性進(jìn)行打分排序，然后選擇出部分重要且能代表原始特征的子集。屬性選擇方法是一種很重要的技術(shù)，因此它被廣泛地運(yùn)用于模式識(shí)別和機(jī)器學(xué)習(xí)等領(lǐng)域。屬性選擇方法最常見的有兩種，分別是稀疏邏輯回歸[3]和t-test檢驗(yàn)法[4]。最近，有些研究者在屬性選擇算法中使用低秩回歸模型。低秩回歸模型是一種全新的非常有意義的子空間聚類方法，并廣泛應(yīng)用到機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺等領(lǐng)域并取得了比較滿意的效果。但低

4、秩回歸方法直接地運(yùn)用在實(shí)際應(yīng)用中易出現(xiàn)以下問題:首先，當(dāng)輸入的數(shù)據(jù)的屬性個(gè)數(shù)非常大時(shí)，傳統(tǒng)的回歸模型表現(xiàn)出很低的性能;其次，一般線性回歸模型在不同的響應(yīng)之間不會(huì)考慮其相關(guān)性，其典型的代表是最小二乘回歸，此方法只是對(duì)每個(gè)預(yù)測(cè)的數(shù)據(jù)分別產(chǎn)生一個(gè)響應(yīng)。
　　因此，本文針對(duì)原始數(shù)據(jù)具有缺失值的樣本、異常樣本、噪聲樣本和高維等問題，提出了一種利用稀疏學(xué)習(xí)、超圖和低秩的屬性選擇算法，即結(jié)合稀疏學(xué)習(xí)和超圖的低秩屬性選擇算法。
　　本文首先

5、在線性回歸模型框架中直接地運(yùn)用低秩屬性選擇模型，低秩屬性選擇模型結(jié)合了兩種方法:低秩表示方法和稀疏表示方法;接著為了使得模型選擇出來(lái)的屬性能夠更好地保留數(shù)據(jù)的局部信息，在模型中嵌入一個(gè)基于超圖的拉普拉斯矩陣，用于保持各屬性之間的更深層次的關(guān)系;同時(shí)為了讓模型選擇出來(lái)的屬性更具有代表性，在模型中恰當(dāng)?shù)厍度虢?jīng)典子空間學(xué)習(xí)方法——LDA算法，以用于對(duì)低秩屬性模型選擇的結(jié)果進(jìn)行微調(diào);最后，提出一種新的算法優(yōu)化方法，即對(duì)目標(biāo)函數(shù)按順序執(zhí)行低秩屬性