數(shù)理統(tǒng)計(jì)學(xué)第五回-統(tǒng)計(jì)的推測(cè)とは？

1、數(shù)理統(tǒng)計(jì)學(xué)第５回,1,數(shù)理統(tǒng)計(jì)學(xué)(第五回）統(tǒng)計(jì)的推測(cè)とは？,浜田知久馬,數(shù)理統(tǒng)計(jì)學(xué)第５回,2,確率分布,數(shù)理統(tǒng)計(jì)學(xué)で確率分布を勉強(qiáng)．確率分布は便利確率分布がわかれば,様々な事象を確率的に記述できる．（同時(shí),周辺,條件付）確率分布は母數(shù)によって定まる．母數(shù)をどう求めればよいのか？,數(shù)理統(tǒng)計(jì)學(xué)第５回,3,ある目的で,ある確率変數(shù)Yをｎ回観測(cè)し,　標(biāo)本Y=(Y1, Y2,???, Yｎ)を得る.?標(biāo)本Yの分布はある分布族に屬して

2、いる.　「分布を規(guī)定する母數(shù)は未知である」「標(biāo)本Yの実現(xiàn)値ｙに基づいて未知母數(shù)の真の値がいくらであるか評(píng)価,斷定する問題を「推定の問題」という.,推定の問題,數(shù)理統(tǒng)計(jì)學(xué)第５回,4,ダーウィンの植物の丈のデータ（単位インチ）,─────────────────────────────── ?。危铮约沂芫?　他家受精 Ｎｏ．自家受精 　他家受精 ───────────────────────────

3、──── 　 1　　　17.375　　　 23.5 　 　9　　16.5　　 18.25 　 2　　　20.375　　　 12 　　　 10　 18　　　　21.625 　 3　　　20　　　　　 21 11　 18.25 　　 23.25 　 4　　　20　　　　　 22 12　 18

4、　　　　21 　 5　　　18.375　　　 19.125 13　 12.75 　　 22.125 　 6　　　18.625　　　 21.5 14　 15.5　　　 23 　 7　　　18.625　　　 22.125 15　 18　　　 12 　 8　　　15.25 　　　 20.375

5、 ─────────────────────────────── 　平均　　17.708　　 　20.192 標(biāo)準(zhǔn)偏差　 2.024　　　 3.617 ───────────────────────────────,數(shù)理統(tǒng)計(jì)學(xué)第５回,5,數(shù)理統(tǒng)計(jì)學(xué)第５回,6,母數(shù)推定の前提,自家受精群と他家受精群に別々の正規(guī)分布をあてはめｎ個(gè)（ｎ＝１

6、５）の確率変數(shù)Ｙｉが互いに獨(dú)立に同一の正規(guī)分布にしたがうＹ１ ,Ｙ２ ,Ｙ３ ,???，Ｙｎ ～Ｎ（μ,σ２） i.i.d.（independent identically distributed）,數(shù)理統(tǒng)計(jì)學(xué)第５回,7,ある未知母數(shù) b の真の値を推定したいという問題を考える．一つの答え方：　観測(cè)変數(shù) Y の統(tǒng)計(jì)量 t(Y) を一つ用意　観測(cè)値がデータ y として得られたら，そのデータを代入して得られる関數(shù)値 t(y) が

7、　　　「母數(shù) b の真の値である」　と斷定このような方式を「（點(diǎn)）推定」estimation と言う，,點(diǎn)推定,數(shù)理統(tǒng)計(jì)學(xué)第５回,8,推定に使う関數(shù) t(Y) を「推定量」 estimator，データを代入して得られる値 t(y) を「推定値」 estimate という．推定の問題において，數(shù)理統(tǒng)計(jì)學(xué)が問題にすることは，どんなやり方が良いかである．どんな推定量が良い推定量？,推定と推定量,數(shù)理統(tǒng)計(jì)學(xué)第５回,9,區(qū)間推定,別の答え方

8、2つの統(tǒng)計(jì)量tL(Y), tU(Y)を用意する.Yの実現(xiàn)値ｙを得たら,それを代入して得られる値tL(ｙ)～tU(ｙ)の範(fàn)囲に真の値があるとする.このような形式を「區(qū)間推定」　interval　estimationという.,數(shù)理統(tǒng)計(jì)學(xué)第５回,10,良い推定量の規(guī)準(zhǔn),良さを議論するには規(guī)準(zhǔn) criterion が必要一つの視點(diǎn)： 定性的，資格條件を限定しておいて，その中である規(guī)準(zhǔn)量が最大（あるいは最小）となるものを良いものとする．

9、たとえば？定性的條件：不偏性，線形性定量的規(guī)準(zhǔn)：分散最小性不偏性とは？分散最小性とは？,數(shù)理統(tǒng)計(jì)學(xué)第５回,11,精度, 偏り，正確さ,不偏だけど精密でない　　　　偏りありかつ　　　　　　　　　　　　　　　　　　 精密でない,,,,,,,,,,,,,,,,,,,,,,,,,不偏で精密 偏りあるけど精密,數(shù)理統(tǒng)計(jì)學(xué)第５回,12,點(diǎn)推定の良さの基準(zhǔn),βの推定量ｂがあるとする.推定量の良さの基準(zhǔn)で最も一般的な

10、のは平均二乗誤差(Mean Square Error：MSE)MSE=E[(b－β)2]= E[(b－β)2]＝ E[(b－Ｅ[b]－β＋Ｅ[b])2]= E[(b－Ｅ[b])2]+ E[(Ｅ[b]－β)2]　+2(Ｅ[b]－β) E[b－Ｅ[b]],數(shù)理統(tǒng)計(jì)學(xué)第５回,13,ＭＳＥ,MSE=E[(b－Ｅ[b])2]+ E[(Ｅ[b]－β)2]　　　　　?。諿b]　　　　　　　?。猓椋幔蟆　　　⊥贫郡畏稚ⅰ⊥贫郡纹陙I

11、方を同時(shí)に最適化できるか？分散を0　→　常にｂ＝0　?。諿b]=0,數(shù)理統(tǒng)計(jì)學(xué)第５回,14,推定での方法論的課題,どんな推定量が良い推定量？定性的條件,例えば　不偏性＝期待値が未知母數(shù)に一致　線形性＝推定量がYの線形式を　満たすものの中である規(guī)準(zhǔn)量,例えば分散を最小(最良,有効）にするものを良いとする?最良線形不偏推定量,數(shù)理統(tǒng)計(jì)學(xué)第５回,15,最良線形不偏推定量を求める方法はあるか？,一般的な方法はない.　存在しないこ

12、とも多い.原理的に良い推定量を?qū)Г浃工ぴ恧?？?最尤法　?最小2乗法　?モーメント法,數(shù)理統(tǒng)計(jì)學(xué)第５回,16,クラメル?ラオ(Cramer-Rao)の不等式,,數(shù)理統(tǒng)計(jì)學(xué)第５回,17,クラメル?ラオ(Cramer-Rao)の不等式,不偏推定量の分散の下限についての不等式(不偏推定量の分散はこれより小さくならない）θを不偏推定量とするとV[θ]≧1/II：フイッシャーの情報(bào)量(Fisher information)

13、等號(hào)が成り立つ場(chǎng)合は,不偏推定量の中で分散が最?。ㄓ袆浚─趣胜?,＾,＾,數(shù)理統(tǒng)計(jì)學(xué)第５回,18,証明にあたって利用すること,不偏推定量の定義　E[θ（Y)]=θ確率密度関數(shù)の和は１ 　∫ｆ(ｙ,θ) ｄｙ=1E[B]=0のとき, E[A?B]=Cov [A,B] ,V[B]= E[B2] 　　?。鸆ov [A,B] = E[A?B]－E[A] E[B]｝4)5）微分と積分の交換可能性6）　Cov [A,B]≦V[A

14、] V[B]　　相関係數(shù)の絶対値は１を越えない,＾,數(shù)理統(tǒng)計(jì)學(xué)第５回,19,クラメル?ラオ(Cramer-Rao)の不等式,不偏であるためにはθが1単位増加すれば期待値も1増加する,數(shù)理統(tǒng)計(jì)學(xué)第５回,20,クラメル?ラオ(Cramer-Rao)の不等式,積分と微分の交換可能性，傾きの期待値は0θを動(dòng)かしても確率密度の和は不変,數(shù)理統(tǒng)計(jì)學(xué)第５回,21,クラメル?ラオ(Cramer-Rao)の不等式,數(shù)理統(tǒng)計(jì)學(xué)第５回,22,クラメル?ラ

15、オ(Cramer-Rao)の不等式,不偏推定量θの分散が,V[θ]＝1/Iを満たせば, θは一様最小分散不偏推定量(Uniformly Minimum Variance Unbiased estimator, UMVU)である.,＾,＾,＾,數(shù)理統(tǒng)計(jì)學(xué)第５回,23,2項(xiàng)分布の場(chǎng)合,數(shù)理統(tǒng)計(jì)學(xué)第５回,24,2項(xiàng)分布の場(chǎng)合,數(shù)理統(tǒng)計(jì)學(xué)第５回,25,最尤法(Maximum Likelihood method）,確率（密度）関數(shù)を未

16、知母數(shù)の関數(shù)とみなしたものが,尤度(likelihood)確率が最大の母數(shù)の値は,観測(cè)値Yの関數(shù)　これを未知母數(shù)の推定量とする.最尤法,得られる推定量が最尤推定量　確率が最大になるように推定　(MLE：Maximum Likelihood Estimator),數(shù)理統(tǒng)計(jì)學(xué)第５回,26,最小二乗法,観測(cè)変數(shù)Yの値と,モデルから予測(cè)される差の2乗和を最小にする母數(shù)の値を推定量とする方法　Σ（Yi－β0－β1Xi）2を最小にする

17、ようにβ0とβ1を推定,數(shù)理統(tǒng)計(jì)學(xué)第５回,27,最小2乗法の模式図,,,Ｙ,Ｘ,0,×,,×,,Ｘ,Ｘ,,,×,,,,,,Y=β0+β1X,數(shù)理統(tǒng)計(jì)學(xué)第５回,28,モーメント法,分布のモーメントを,次數(shù)の低い方から未知母數(shù)の數(shù)ｐだけ求め,それを?qū)潖辘工霕?biāo)本モーメントと等しいとおき,母數(shù)の推定量を構(gòu)成する方法を“モーメント法”(moment　method)という分布の期待値＝データの平均E[X]＝μ?。?/p>

18、Σｘi／N分布の２次モーメント＝データの２乗和E[X2]＝μ2 +σ2 ：Σｘi2／N,數(shù)理統(tǒng)計(jì)學(xué)第５回,29,用語,最尤原理（maximum likelihood principle）最尤法（maximum likelihood method） 最尤推定量（maximum likelihood estimator）尤度（likelihood)対數(shù)尤度(log likelihood)Fisherの情報(bào)量（Fisher

19、9;s information）,數(shù)理統(tǒng)計(jì)學(xué)第５回,30,尤度，最尤推定量，F(xiàn)isherの情報(bào)量,尤度（likelihood) :尤（もっともらし）さの程度　　　　　　　 を確率で評(píng)価した指標(biāo)最尤推定量:尤度が最大になるように母數(shù)　　　　 　を推定する原理Fisherの情報(bào)量：最尤推定量の推定精度を　　　　　　　 測(cè)る指標(biāo),數(shù)理統(tǒng)計(jì)學(xué)第５回,31,最尤推定の例,コインを10回投げて7回表が出たとする.このような事象が起き

20、る確率は？確率分布として2項(xiàng)分布B(ｎ＝10,π）を仮定するとｐ＝10Cｙπｙ（1－π）10-ｙ確率ｐは母數(shù)πの関數(shù)である.確率を母數(shù)の関數(shù)と考えたのが尤度（L：likelihood)確率関數(shù)：πを固定したｙの関數(shù)尤度関數(shù)： ｙを固定したπの関數(shù),數(shù)理統(tǒng)計(jì)學(xué)第５回,32,最らしいπは？,π 確率 1 0.1 0.00001 2 0.2 0.00079 3 0.3 0.0

21、0900 4 0.4 0.04247 5 0.5 0.11719 6 0.6 0.21499 7 0.7 0.26683 8 0.8 0.20133 9 0.9 0.05740,數(shù)理統(tǒng)計(jì)學(xué)第５回,33,尤度の計(jì)算プログラム,data q6;do phi=0.10 to 0.90 by 0.02;l=10*9*8/(3*2*1)*phi**

22、7*(1-phi)**3;output;end;proc gplot;plot l*phi/href=0.7;symbol1 i=spline v=none h=4 w=4;run;,數(shù)理統(tǒng)計(jì)學(xué)第５回,34,πの関數(shù)の尤度,數(shù)理統(tǒng)計(jì)學(xué)第５回,35,最尤推定,尤度(L）を最大にするように母數(shù)を求める.尤度の最大化　?　対數(shù)尤度の最大化母數(shù)空間の全てのπについてLを計(jì)算するか？山の頂上では傾き0対數(shù)尤度をπで微分して導(dǎo)関數(shù)

23、を求め,導(dǎo)関數(shù)が0になるπを求める.,數(shù)理統(tǒng)計(jì)學(xué)第５回,36,西遊記ひたすら西を目指す．,數(shù)理統(tǒng)計(jì)學(xué)第５回,37,最尤法ひたすら山の頂上を目指す．,數(shù)理統(tǒng)計(jì)學(xué)第５回,38,山の頂上にいるのは？,數(shù)理統(tǒng)計(jì)學(xué)第５回,39,最尤推定量の誘導(dǎo)１,數(shù)理統(tǒng)計(jì)學(xué)第５回,40,最尤推定量の誘導(dǎo)２,數(shù)理統(tǒng)計(jì)學(xué)第５回,41,コインを100回投げて70回表が出たときの尤度,數(shù)理統(tǒng)計(jì)學(xué)第５回,42,演習(xí)問題　ポアソン分布の推測(cè),ポアソン分布の確率関數(shù)ｐ

24、(ｘ)は， ｐ(ｘ)＝λｘ?exp(－λ)／ｘ！となる.λが母數(shù)であり，ｘは確率変數(shù)の実現(xiàn)値で０、１、２???の値をとるものとする．1)λ＝１のとき，Ｘが１以上の値をとる確率を計(jì)算せよ．ヒント?。澹穑?)=2.7182)お年玉付年賀狀の當(dāng)たり數(shù)がｘ＝5となった.當(dāng)たり數(shù)の分布にポアソン分布を仮定して，このようなデータが得られた場(chǎng)合の尤度と対數(shù)尤度を計(jì)算せよ．3)対數(shù)尤度を，λで微分せよ．また１次微分関數(shù)の値が0に