ch 03 參數(shù)估計

1、Ch 03. 參數(shù)估計,最大似然估計 & 貝葉斯估計,Part 1 最大似然估計,模式分類的途徑,途徑1：估計類條件概率密度通過 和 ，利用貝葉斯規(guī)則計算后驗概率 ，然后通過最大后驗概率做出決策兩種方法方法1a：概率密度參數(shù)估計基于對 的含參數(shù)的描述方法1b：概率密度非參數(shù)估計基于對 的非參數(shù)的描述途徑2：直接

2、估計后驗概率不需要先估計途徑3：直接計算判別函數(shù)不需要估計 或者,,概率密度函數(shù)估計與參數(shù)估計,參數(shù)估計基于對 用已知函數(shù)形式的參數(shù)化表示估計未知概率密度函數(shù) 的問題被簡化為估計已知函數(shù)形式中的未知參數(shù) 中的所有未知參數(shù)可以寫成向量形式，稱為參數(shù)向量 ，含有未知參數(shù)的概率密度函數(shù) 可以表示為高斯密度函數(shù)中的參數(shù)向量,貝葉斯決策中的參數(shù)估

3、計,貝葉斯決策為最優(yōu)決策（最小總風(fēng)險、最小誤差概率）前提條件已知先驗概率已知類條件概率密度不幸的是……多數(shù)情況下，先驗概率和類條件概率密度未知我們可利用的……有關(guān)模式識別問題的一些模糊而籠統(tǒng)的知識一些設(shè)計樣本（訓(xùn)練樣本），構(gòu)成待分類的模式的一個特定的子集，作為該模式的代表,貝葉斯決策中的參數(shù)估計,解決方案假設(shè)類條件概率密度為某種含參數(shù)的概率密度分布函數(shù)，通過訓(xùn)練數(shù)據(jù)來估計該函數(shù)中未知的參數(shù)將參數(shù)估計后的概率密度函數(shù)作

4、為類條件概率密度，利用貝葉斯決策進(jìn)行分類有監(jiān)督學(xué)習(xí)訓(xùn)練集中每個樣本的真實類別已知,參數(shù)估計方法,最大似然估計（ML估計）假設(shè)將待估計的參數(shù)看作確定的量，只是值未知估計方式將使得產(chǎn)生訓(xùn)練樣本的概率最大的參數(shù)值作為這些參數(shù)的最佳估計貝葉斯估計（貝葉斯學(xué)習(xí)）假設(shè)將待估計的參數(shù)看作符合某種先驗概率分布的隨機變量估計方式通過觀察樣本，將先驗概率密度通過貝葉斯規(guī)則轉(zhuǎn)化為后驗概率密度,參數(shù)估計方法,ML估計與貝葉斯估計的關(guān)系M

5、L估計通常比貝葉斯估計簡單ML估計給出參數(shù)的值，而貝葉斯估計給出所有可能的參數(shù)值的分布當(dāng)可用數(shù)據(jù)很多以至于減輕了先驗知識的作用時，貝葉斯估計可以退化為ML估計,最大似然估計,給定c個類：假設(shè)所有的類條件概率密度函數(shù) 都具有已知的參數(shù)化形式假設(shè)每個參數(shù)向量 對它所屬的類別起的作用都是相互獨立的例如：給定c個數(shù)據(jù)集（每個數(shù)據(jù)集對應(yīng)一個類別）：每個數(shù)據(jù)集

6、中的樣本為獨立同分布（independent and identically distributed，縮寫為i.i.d.）的隨機變量，這些隨機變量均從某個概率密度函數(shù) 獨立抽取由于不同類的參數(shù)相互獨立， 無法為 ， 的估計提供任何信息因此，可以對每個類別分別估計參數(shù)，類別下標(biāo)可以省略,,,,最大似然估計,相對于數(shù)據(jù)集 的似然函數(shù)對

7、 的ML估計即使得似然函數(shù) 最大的值直觀上講， 是使得觀察到D中樣本的可能性最大化的值,最大似然估計,完成ML估計后，概率密度函數(shù) 完全已知，即其參數(shù)的形式和值都已知類 的后驗概率可由貝葉斯公式計算基于后驗概率可做出貝葉斯決策顯式表示數(shù)據(jù)集 在參數(shù)估計中的作用：,似然函數(shù)和對數(shù)似然函數(shù),給定數(shù)據(jù)集D，定義似然函數(shù) 為： 也可寫為

8、 ，以強調(diào)其依賴于數(shù)據(jù)集D對數(shù)似然函數(shù)對數(shù)似然函數(shù)的計算常常較似然函數(shù)更為簡單最大似然估計log(x)是單調(diào)遞增函數(shù),,最大化問題,ML估計的解通過最大化似然函數(shù)或?qū)?shù)似然函數(shù)實現(xiàn),,,,最大化問題,記 表示p維參數(shù)向量 ， 表示梯度算子全局最大值的必要條件（似然方程） 或等價的（對數(shù)似然方程）似然方程或?qū)?shù)似然方程的解并不是

9、獲得全局最大值的充分條件可能為：全局最大/最小、局部最大/最小、拐點,,ML估計-高斯情況： 未知,在 下的對數(shù)似然對數(shù)似然方程 的ML估計,,,,數(shù)據(jù)集D的樣本均值,ML估計-高斯情況： 和 均未知,x為單變量情況參數(shù)向量 在 下的對數(shù)似然對數(shù)似然方程,ML估計-高斯情況： 和 均未知,x為單變量情況 的ML估計,ML估計-高斯情況： 和 均未知,x為多元變量情況參

10、數(shù)向量 在 下的對數(shù)似然 的ML估計,,數(shù)據(jù)集D的樣本均值,,估計的偏差,的ML估計是有偏估計，即對所有可能的大小為n的樣本集進(jìn)行協(xié)方差矩陣的ML估計，其數(shù)學(xué)期望并不等于實際的協(xié)方差矩陣 的無偏估計由于ML估計 為漸進(jìn)無偏估計，即隨著樣本數(shù)n的增大， 趨近于C,,,數(shù)據(jù)集D的樣本協(xié)方差矩陣,參數(shù)估計方法,最大似然估計（ML估計）假設(shè)將待估計的參數(shù)看作確定的量，只是值未知估計方式將使得

11、產(chǎn)生訓(xùn)練樣本的概率最大的參數(shù)值作為這些參數(shù)的最佳估計貝葉斯估計（貝葉斯學(xué)習(xí)）假設(shè)將待估計的參數(shù)看作符合某種先驗概率分布的隨機變量估計方式通過觀察樣本，將先驗概率密度通過貝葉斯規(guī)則轉(zhuǎn)化為后驗概率密度,Part 2 貝葉斯估計,貝葉斯估計,給定參數(shù)形式的概率密度函數(shù) ，其中的未知參數(shù)表示為向量有關(guān) 的先驗概率密度數(shù)據(jù)集求解參數(shù)向量 的后驗概率密度x的后驗概率密度,,,,貝葉斯估計,貝葉斯估計

12、最大似然估計,貝葉斯估計,為明確數(shù)據(jù)集D的作用，類似于ML估計，貝葉斯決策所需后驗概率可重新寫作簡化,,,,貝葉斯估計,核心問題已知一組訓(xùn)練樣本D，這些樣本都是從固定但未知的概率密度函數(shù)p(x)中獨立抽取的，要求根據(jù)這些樣本估計基本思路假設(shè) 為已知參數(shù)形式的概率密度 是 在D下的后驗概率密度——通過貝葉斯估計得到的如果 在某一個值 附近形

13、成最顯著的尖峰，則,貝葉斯估計,通過觀察數(shù)據(jù)集D，將先驗概率密度 轉(zhuǎn)化為后驗概率密度 ，并期望其在真實的 值處有一個尖峰,高斯情況：單變量， 未知， 已知,目標(biāo)概率密度函數(shù) 未知，但是其分布 已知 已知， 可簡化為,根據(jù) 選擇某個具體的 值,高斯情況：單變量， 未知， 已知,應(yīng)用貝葉斯規(guī)則計算 的后驗概率其中， 是一個依賴于樣本集

14、 的歸一化系數(shù)，該系數(shù)不依賴于假設(shè) ，其中 和 均已知,高斯情況：單變量， 未知， 已知,也呈高斯分布 稱為共軛先驗（conjugate prior）， 稱為復(fù)制密度（reproducing density）計算,高斯情況：單變量， 未知， 已知,觀察結(jié)論 如果 當(dāng)

15、 時，如果退化情況：如果,當(dāng)獲得足夠多的樣本后， 和 的具體數(shù)值的精確假定變得無關(guān)緊要， 將收斂于樣本均值,先驗知識和經(jīng)驗數(shù)據(jù)各自的貢獻(xiàn)取決于 和 的比值，這個比值稱為決斷因子（dogmatism）,高斯情況：單變量， 未知， 已知,觀察結(jié)論 隨著樣本數(shù)n的遞增， 單調(diào)遞減，即新增的樣本能夠減少關(guān)于 的估計的不確定性。隨著n的增大， 的

16、波形變得越來越尖。,貝葉斯學(xué)習(xí)過程,高斯情況：單變量， 未知， 已知,觀察結(jié)論 隨著樣本數(shù)n的遞增， 單調(diào)遞減，即新增的樣本能夠減少關(guān)于 的估計的不確定性。隨著n的增大， 的波形變得越來越尖。,貝葉斯學(xué)習(xí)過程,高斯情況：單變量， 未知， 已知,類條件概率密度,高斯情況：單變量， 未知， 已知,類條件概率密度 的參數(shù)形式為貝葉斯估計的結(jié)果為對 估計的不

17、確定性增加了x的不確定性（ ） ）貝葉斯決策規(guī)則,,,,,高斯情況：多變量， 未知， 已知,假設(shè)所以,,,,,,,已知,,,未知,高斯情況：多變量， 未知， 已知,類條件概率密度一種較簡單的理解視角,貝葉斯估計的一般過程,,遞歸的貝葉斯學(xué)習(xí),明確樣本集中的樣本個數(shù)貝葉斯學(xué)習(xí),遞歸的貝葉斯學(xué)習(xí),遞歸學(xué)習(xí)過程觀察樣本前 觀察樣本 觀察樣本 ……n. 觀

18、察樣本,每一步中，僅需要知道當(dāng)前樣本 和上一步的結(jié)果,增量學(xué)習(xí)（incremental learning）,例子,問題一維樣本服從均勻分布已知：參數(shù) 有界，假設(shè)已有樣本集用遞歸貝葉斯求解,例子,解觀察樣本之前觀察樣本觀察樣本,例子,解觀察樣本觀察樣本,例子,解,例子,解,,,貝葉斯估計 vs. ML估計,樣本數(shù)量趨于無窮時計算復(fù)雜度可理解性先驗知識的靈活運用理論基礎(chǔ),貝葉斯

19、估計,=,ML估計,貝葉斯估計,>,ML估計,貝葉斯估計,<,ML估計,貝葉斯估計,>,ML估計,貝葉斯估計,>,ML估計,基于參數(shù)估計的貝葉斯決策,假設(shè)類條件概率密度的參數(shù)形式用ML估計或貝葉斯估計對類條件概率密度進(jìn)行模型估計利用貝葉斯公式計算后驗概率根據(jù)最大后驗概率對測試樣本進(jìn)行分類分類誤差來源貝葉斯誤差（不可分性誤差）模型誤差估計誤差,由問題本身決定，無法消除,小結(jié),參數(shù)估計將類條件概率密