統(tǒng)計學(xué)習(xí)基礎(chǔ)

1、1,統(tǒng)計學(xué)習(xí)基礎(chǔ),卿來云中國科學(xué)院研究生院信息學(xué)院lyqing@gucas.ac.cn / lyqing@jdl.ac.cn,2,概率 vs. 統(tǒng)計,概率：研究隨機(jī)事件出現(xiàn)的可能性的數(shù)學(xué)分支，描述非確定性的正式語言基本問題：給定以一個數(shù)據(jù)產(chǎn)生過程，輸出的性質(zhì)? 統(tǒng)計推斷：處理數(shù)據(jù)分析和概率理論的數(shù)學(xué)分支，與數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)是近親基本問題：給定輸出數(shù)據(jù)，該數(shù)據(jù)的產(chǎn)生過程?,數(shù)據(jù)產(chǎn)生過程,觀測到的數(shù)據(jù),概率,統(tǒng)計推斷,3,統(tǒng)計學(xué)

2、習(xí),統(tǒng)計學(xué) ≈ 根據(jù)數(shù)據(jù)進(jìn)行推理的學(xué)科統(tǒng)計學(xué)習(xí) ≈多元統(tǒng)計分析 + 計算統(tǒng)計學(xué)多元統(tǒng)計分析 ≈ 基于一個多元變量數(shù)據(jù)集，預(yù)測函數(shù)值計算統(tǒng)計學(xué) ≈ 統(tǒng)計問題的計算方法 (a.k.a. 統(tǒng)計計算) + 計算繁重的統(tǒng)計方法數(shù)據(jù)挖掘 ≈ 研究數(shù)據(jù)分析，尤其是大數(shù)據(jù)量/復(fù)雜的數(shù)據(jù)集,4,學(xué)習(xí)的主要目的：預(yù)測,通過學(xué)習(xí)，得到訓(xùn)練數(shù)據(jù)的某種模型然后利用該模型，預(yù)測未見過的測試數(shù)據(jù)假設(shè)測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)來自相同分布,5,統(tǒng)計學(xué)習(xí)的

3、任務(wù),概率密度估計：預(yù)測概率密度回歸：預(yù)測連續(xù)目標(biāo)變量的值分類：預(yù)測離散目標(biāo)變量的值其他：聚類、降維有監(jiān)督/無監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)：回歸、分類無監(jiān)督學(xué)習(xí)：概率密度估計、聚類、降維,6,統(tǒng)計學(xué)習(xí)的主要部分,模型類別參數(shù)模型、非參數(shù)模型損失函數(shù)L2損失、0-1損失、log似然損失…推廣性訓(xùn)練誤差（學(xué)習(xí)）、測試誤差（預(yù)測）優(yōu)化計算,7,例：回歸,數(shù)據(jù)產(chǎn)生過程為加上 的高斯噪聲目標(biāo)：用多項式模型

4、擬合 ，使得最小。,8,例：回歸（續(xù)）,,,,擬合函數(shù),,樣本數(shù)據(jù)點(diǎn),,9,例：回歸（續(xù)）,,10,例：人臉形狀,,ICCV2001: Learning inhomogeneous Gibbs models of faces by minimax entropy,11,一些問題,怎樣表示誤差？（損失函數(shù)）怎樣保證在未來的數(shù)據(jù)集上誤差最小？（推廣性）對特定的數(shù)據(jù)，應(yīng)該選擇哪個模型/方法？（模型選擇、假設(shè)檢驗）

5、我們的方法在未來數(shù)據(jù)集上的誤差是多少？（誤差估計、置信帶、學(xué)習(xí)理論）,12,課程目的,為計算機(jī)專業(yè)的學(xué)生快速提供廣泛的概率和統(tǒng)計背景概率統(tǒng)計統(tǒng)計學(xué)習(xí)為學(xué)習(xí)其他課程打好統(tǒng)計學(xué)基礎(chǔ)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘模式識別人工智能…,13,數(shù)學(xué)基礎(chǔ)的重要性,研究數(shù)據(jù)分析必須打好概率和統(tǒng)計基礎(chǔ)Using fancy tools like neural nets, boosting and support vector machines w

6、ithout understanding basic statistics like doing brain surgery before knowing how to use a band-aid.,14,教材/參考書,[AOL] Larry Wasserman, All of Statistics: A Concise Course in Statistical Inference中譯本：《統(tǒng)計學(xué)完全教程》主要教材：內(nèi)容很全，但

7、有些部分篇幅略少，更偏向于從統(tǒng)計的角度講述Chp1-13, Chp20[ESL] Trevor Hastie, Robert Tibshirani, Jerome Friedman，The Elements of Statistical Learning – Data Mining, Inference, and Prediction中譯本：《統(tǒng)計學(xué)習(xí)基礎(chǔ)—數(shù)據(jù)挖掘、推理與預(yù)測》統(tǒng)計學(xué)習(xí)部分的主要教材：主要從機(jī)器學(xué)習(xí)的角度講述

8、Chp1-7[PRML] Bisshopr，Pattern Recognition and Machine Learning,15,課程內(nèi)容（1）,第一部分：概率隨機(jī)變量及其概率分布概率不等式和收斂性第二部分：統(tǒng)計推斷統(tǒng)計推斷基本知識非參數(shù)估計、Bootstrap、Jackknife參數(shù)估計假設(shè)檢驗,16,課程內(nèi)容（2）,第三部分：統(tǒng)計學(xué)習(xí)統(tǒng)計學(xué)習(xí)概述線性回歸核方法統(tǒng)計判決理論模型選擇和模型評估,17,作