kernel方法

1、1,Kernel方法,PRML第6、7章,2,不同的方法框架,數(shù)據(jù)只與模型的訓(xùn)練過程發(fā)生聯(lián)系：例如線性回歸、Logistic回歸等 訓(xùn)練耗時，測試相對較快數(shù)據(jù)參與預(yù)測或估計過程：例如核密度估計、最近鄰分類等 “訓(xùn)練”簡單，測試相對耗時,3,核函數(shù)：度量樣本相似性,核函數(shù)：線性核：注：核函數(shù)的引入不僅可發(fā)展出新模型，也可擴展已有模型，例如KFLD、KPCA等等,4,對偶表示,許多回歸或分類的線性模型可重形式化為由核

2、函數(shù)所支配的對偶表示例子： 平穩(wěn)點對應(yīng)的w為,5,對偶表示,代入 ，獲得定義 ，這里獲得對應(yīng)于平穩(wěn)點的a為,6,對偶表示,將上式代入到線性回歸模型，預(yù)測值為 這里作業(yè)：嘗試自行驗證上述重形式化過程,7,對偶表示,比較原形式化的解 與對偶形式化的解 易知兩個形式化涉及不同規(guī)模的矩陣反轉(zhuǎn)問題：典型問題設(shè)置下，哪個

3、形式化計算開銷更??？對偶形式化的優(yōu)勢在哪里？,8,構(gòu)造核,方法1：首先構(gòu)造 ，再由 獲得核函數(shù)k(.,,)方法2：直接定義k(.,,)注：方法2需要保證所定義的k(.,,)合法,9,構(gòu)造核,合法核函數(shù)k(.,,)的充要條件：由任意樣本集D和k(.,,)所構(gòu)造的Gram矩陣K半正定作業(yè)：證明上述結(jié)果例子：,10,構(gòu)造核,,11,構(gòu)造核,由簡單核組合出復(fù)雜核,12,構(gòu)造核,例子：高斯核例子：多項式核

4、 ，這里c>0作業(yè)：證明高斯核和多項式核是合法的核,13,構(gòu)造核,概率生成技術(shù)：連接生成模型和判別模型,14,高斯過程,線性回歸重訪問： 基本模型,15,高斯過程,考察y的前兩階矩由此確定y的分布（由核矩陣K所決定）作業(yè)：自行驗證上述公式,16,高斯過程,替換視角：不顯式指定基函數(shù)集{?k}和p(w)，直接定義核矩陣K高斯核和指數(shù)核,17

5、,高斯過程,目標(biāo)方程： ，這里目標(biāo)分布：y分布： ，這里K是由參數(shù)決定核矩陣,18,高斯過程,由上述定義，可解析給出 這里問題：利用哪些結(jié)果可獲得上面給出的結(jié)果？,19,高斯過程,核矩陣K的定義：,20,高斯過程,預(yù)測：為計算以上條件概率，考慮 協(xié)方差矩陣做如下劃分,21,高斯過程,利用高斯分布條件化公式（2.81和2.82），得到