基于正交最小二乘的可調(diào)核函數(shù)多輸出回歸模型.pdf

1、核學(xué)習(xí)是現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域的熱點(diǎn)問題，核方法的思想是利用核代入方式隱式地定義非線性映射空間，然后使用核函數(shù)代替高維特征空間中向量的內(nèi)積進(jìn)行計(jì)算。稀疏性和泛化能力是核函數(shù)模型的主要特性，也是評(píng)價(jià)一個(gè)模型優(yōu)劣的重要指標(biāo)，所以現(xiàn)在人們研究工作的重點(diǎn)是致力于構(gòu)建一個(gè)稀疏的核模型?，F(xiàn)在，核函數(shù)模型在生產(chǎn)中的運(yùn)用日益增多，比如:支持向量機(jī)，線性規(guī)劃回歸等。然而，這些傳統(tǒng)的方法都使用尺度固定的模型，也就是說模型中的核函數(shù)使用的參數(shù)固定不變。當(dāng)要擬合隨時(shí)

2、間動(dòng)態(tài)變化的包含噪聲的樣本數(shù)據(jù)時(shí)，傳統(tǒng)的核函數(shù)模型就不得不使用更多的擬合項(xiàng)來迎合這種變化，這樣帶來的結(jié)果無疑是破壞了表示的稀疏性，從而降低了模型的泛化能力。
　　為了解決上述問題，本文提出一種構(gòu)建稀疏模型的新思路，那就是模型中核函數(shù)的尺度參數(shù)采用可調(diào)的方式。由于使用新方法構(gòu)建的模型對(duì)于每一個(gè)回歸項(xiàng)來說都可以根據(jù)變化自動(dòng)地調(diào)節(jié)尺度，因此新模型在實(shí)際的應(yīng)用中會(huì)表現(xiàn)得更加靈活。多輸出模型具有更加廣泛的應(yīng)用領(lǐng)域和實(shí)際的應(yīng)用背景，為此本文將

3、新模型應(yīng)用于多輸出問題。新模型采用正交最小二乘以貪婪的方式一步步構(gòu)建回歸模型，求解每個(gè)回歸項(xiàng)的核函數(shù)參數(shù)時(shí)，利用群搜索優(yōu)化最小化殘差目標(biāo)函數(shù)。正交最小二乘法作為構(gòu)建稀疏網(wǎng)絡(luò)的一種快速的方法，常用來非線性系統(tǒng)建模。因?yàn)樵撍惴ú粌H簡(jiǎn)單有效，而且構(gòu)建的模型有較低的復(fù)雜度和較強(qiáng)的泛化性能，所以在機(jī)器學(xué)習(xí)和智能控制領(lǐng)域備受青睞。群搜索優(yōu)化基于動(dòng)物的搜索行為和群體生活理論，如鳥、魚等的覓食行為，是以PS模型為基礎(chǔ)的群體隨機(jī)搜索優(yōu)化算法。在該算法中，