參數(shù)估計(jì)的基本理論

1、1第3章參數(shù)估計(jì)的基本理論參數(shù)估計(jì)的基本理論信號(hào)檢測(cè)：通過準(zhǔn)則來判斷信號(hào)有無；參數(shù)估計(jì)：由觀測(cè)量來估計(jì)出信號(hào)的參數(shù)；解決1）用什么方法求取參數(shù)，2）如何評(píng)價(jià)估計(jì)質(zhì)量或者效果嚴(yán)格來講，這一章研究的是參數(shù)的統(tǒng)計(jì)估計(jì)方法，它是數(shù)理統(tǒng)計(jì)的一個(gè)分支。推薦兩本參考書高等教育出版社《數(shù)理統(tǒng)計(jì)導(dǎo)論》，《NonlinearParameterEstimation》。我們首先從一個(gè)估計(jì)問題入手，來了解參數(shù)估計(jì)的基本概念。3.1估計(jì)的基本概念估計(jì)的基本概念3.

2、1.1估計(jì)問題估計(jì)問題對(duì)于觀察值是信號(hào)和噪聲疊加的情況：xsn??xsn???其中是信號(hào)的參數(shù)，或就是信號(hào)本身。若能找到一個(gè)函數(shù)，利用?s???fx可以得到參數(shù)的估計(jì)值，相對(duì)估計(jì)值，稱為參數(shù)的真值。則稱??12Nfxxx???????為參數(shù)的一個(gè)估計(jì)量。記作。??12Nfxxx?????12Nfxxx???在上面的方程中，去掉n實(shí)際上是一個(gè)多元方程求解問題。這時(shí)，如果把n看作是一種干擾或攝動(dòng)，那么就可以用解確定性方程的方法來得出。但是我

3、們要??fx研究的是參數(shù)的統(tǒng)計(jì)估計(jì)方法，所以上面的描述并不適合我們的討論。下面給出估計(jì)的統(tǒng)計(jì)問題描述。（點(diǎn)估計(jì)）設(shè)隨機(jī)變量具有某一已知函數(shù)形式的概率密度函數(shù)，但是該函數(shù)依賴于未知x參數(shù)，，稱為參數(shù)空間。因此可以把的概率密度函數(shù)表示為一個(gè)函數(shù)?????x族。表示隨機(jī)樣本，其分布取自函數(shù)族的某一成員，問)(?xpNxxx21?)(?xp題是求統(tǒng)計(jì)量，作為參數(shù)的一個(gè)估計(jì)量。???12Nfxxx????以上就是用統(tǒng)計(jì)的語言給出的參數(shù)估計(jì)問題的描

4、述。關(guān)于“統(tǒng)計(jì)量”的定義：不依賴于未知參數(shù)的一元（或多元）隨機(jī)變量的函數(shù)。3估計(jì)，否則為有偏估計(jì)。?E???????在有偏估計(jì)中，如果隨著樣本數(shù)的不斷增大，偏差趨向于0，即：N?b?則該估計(jì)稱為漸進(jìn)無偏估計(jì)?lim0Nb????讓我們分析例31的無偏性，注意數(shù)學(xué)期望是一個(gè)線性算子。??Es???Ex?????11NExExN????????????11NsEnsEnN?????????????11NsEnEnN?????????如果噪聲

5、是零均值的，即，或?qū)λ杏?，則in????10NEnEn????i??0iEn?是的一個(gè)無偏估計(jì)。s?s從數(shù)理統(tǒng)計(jì)這門課，我們知道樣本方差對(duì)于???????NkkxNkxknxNxN11221)(1????方差是有偏的，因?yàn)闊o偏估計(jì)量是。但2n?221111?()1NNnubiaskxxkkkxxNN???????????是樣本方差是漸進(jìn)無偏的。直覺上，一個(gè)好的估計(jì)量應(yīng)當(dāng)具有無偏性，但是實(shí)際上完全的無偏性通常是達(dá)不到的，只能希望小的偏差

6、。而且估計(jì)的偏差也不是特別地的重要，因?yàn)楣烙?jì)誤差不僅僅是偏差。估計(jì)的偏差和估計(jì)誤差不是一回事，偏差只代表估計(jì)量的系統(tǒng)誤差。都是s的無偏估計(jì)量，系統(tǒng)誤差都為零。接下來，要研究估計(jì)誤差的另一1xx?個(gè)性質(zhì)——估計(jì)的方差，它反映了估計(jì)量的隨機(jī)誤差大小。3.1.3估計(jì)的方差和估計(jì)的方差和CramerRao（克拉美（克拉美勞）不等式勞）不等式估計(jì)的方差：??????22?EE??????????方差：估計(jì)值相對(duì)于均值的分散程度。即越大就越發(fā)散，反