機(jī)器學(xué)習(xí)專(zhuān)題

1、序,有一位計(jì)算機(jī)科學(xué)家曾經(jīng)和很多其他學(xué)科的科學(xué)家們?cè)谝黄鸷献鳎蠹一ハ嘟榻B各自的工作的時(shí)候，這位計(jì)算機(jī)科學(xué)家苦心構(gòu)思了這么一個(gè)例子，他說(shuō)：我的工作就是要讓計(jì)算機(jī)認(rèn)識(shí)這個(gè)，然后他畫(huà)了下面這幅圖， 嚴(yán)格的說(shuō)是寫(xiě)了這組嚴(yán)格對(duì)齊的數(shù)字,0000000000000000000000000000000000000000011000000000110001100000000011000110000000001100011000000000

2、110001100000000011000110000000001100011000000000111111111000000011111111100000000000011000000000000001100000000000000110000000000000000000000000000000000000,桑克（sank）：“一臺(tái)計(jì)算機(jī)若不能進(jìn)行學(xué)習(xí)，就不能說(shuō)它具有智能” Simon（1983）：學(xué)習(xí)就是系統(tǒng)中

3、的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。無(wú)統(tǒng)一的機(jī)器學(xué)習(xí)定義。機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類(lèi)學(xué)習(xí)活動(dòng)的一門(mén)學(xué)科。稍嚴(yán)格的提法是:ML是一門(mén)研究機(jī)器獲得新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn),1、機(jī)器學(xué)習(xí)的定義,人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工程的科學(xué)。 在這個(gè)過(guò)程中必然會(huì)問(wèn)道：“機(jī)器怎樣做才能像人類(lèi)一樣具有學(xué)習(xí)能力”。 機(jī)器學(xué)習(xí)廣泛應(yīng)用于機(jī)器人、圖像處理、語(yǔ)音識(shí)別、數(shù)據(jù)挖掘等

4、領(lǐng)域。機(jī)器學(xué)習(xí)的發(fā)展有利于推動(dòng)其他領(lǐng)域的發(fā)展。,2、為什么要研究機(jī)器學(xué)習(xí)？,預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)。歸納推理：是論證的前提支持結(jié)論但不確保結(jié)論的推理過(guò)程(演繹推理保真);而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多是假的，給生成的知識(shí)帶來(lái)不可靠性。判斷難：機(jī)器目前很難觀(guān)察什么重要、什么有意義。,3、實(shí)現(xiàn)的困難,5,4 系統(tǒng)學(xué)習(xí)性能評(píng)價(jià),分類(lèi)精度：是否能夠?qū)斎氲臄?shù)據(jù)進(jìn)行正確、精確的分類(lèi)。 解答的正

5、確性和質(zhì)量：無(wú)論是用于分類(lèi)的，還是解決問(wèn)題的系統(tǒng)都有解答正確性問(wèn)題。同時(shí)，正確性不一定保證有好的質(zhì)量，好的質(zhì)量包括：可讀性、穩(wěn)定性等多方面的因素。 學(xué)習(xí)的速度：學(xué)習(xí)速度是一個(gè)很重要的系統(tǒng)指標(biāo)。它不僅僅影響系統(tǒng)的設(shè)計(jì)，同時(shí)，影響系統(tǒng)的實(shí)現(xiàn)。一個(gè)很費(fèi)時(shí)的學(xué)習(xí)方法，某種意義上也是很難實(shí)現(xiàn)的。因?yàn)?，通?；ㄙM(fèi)大量時(shí)間所進(jìn)行的操作表現(xiàn)在對(duì)學(xué)習(xí)樣本量的要求、系統(tǒng)空間的要求、系統(tǒng)硬件性能的要求上。,6,,環(huán)境,學(xué)習(xí)環(huán)節(jié),,知識(shí)庫(kù),執(zhí)行環(huán)節(jié),,,,,,

6、,學(xué)習(xí)是建立理論、形成假設(shè)和進(jìn)行歸納推理的過(guò)程。 整個(gè)過(guò)程包括：信息的存儲(chǔ)、知識(shí)的處理兩部分,三、機(jī)器學(xué)習(xí)模型,學(xué)習(xí)系統(tǒng),學(xué)習(xí)系統(tǒng)所感知到的外界信息集合，也是學(xué)習(xí)系統(tǒng)的外界來(lái)源,對(duì)環(huán)境提供的信息進(jìn)行整理、分析歸納或類(lèi)比，形成知識(shí)，并將其放入知識(shí)庫(kù),存儲(chǔ)經(jīng)過(guò)加工后的信息（即知識(shí)）,根據(jù)知識(shí)庫(kù)去執(zhí)行一系列任務(wù)，并將執(zhí)行結(jié)果或執(zhí)行過(guò)程中獲得的信息反饋給學(xué)習(xí)環(huán)節(jié),,,,,學(xué)習(xí)模型,輸入x,輸出,約束條件,機(jī)器學(xué)習(xí)的分類(lèi),根據(jù)是否需要已知類(lèi)別

7、的樣本進(jìn)行學(xué)習(xí)，機(jī)器學(xué)習(xí)可以分為兩大類(lèi)： 有教師學(xué)習(xí)（監(jiān)督學(xué)習(xí)）無(wú)教師學(xué)習(xí)（非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)）,監(jiān)督學(xué)習(xí)supervised learning,利用已知類(lèi)別的樣本去訓(xùn)練算法從而調(diào)整分類(lèi)器的參數(shù)，這樣的學(xué)習(xí)過(guò)程叫做監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)的任務(wù)是學(xué)習(xí)一個(gè)模型，使模型能夠?qū)θ我饨o定的輸入，對(duì)其相應(yīng)的輸出做出一個(gè)很好的預(yù)測(cè)。常見(jiàn)的監(jiān)督學(xué)習(xí)算法有：決策樹(shù)adbost算法樸素貝葉斯算法回歸算法支持向量機(jī),,,,訓(xùn)練集,學(xué)習(xí)系統(tǒng),

8、測(cè)試系統(tǒng),測(cè)試集,模型,測(cè)試結(jié)果,監(jiān)督學(xué)習(xí)示意圖,,上表是用于區(qū)分不同鳥(niǎo)類(lèi)需要使用的四個(gè)不同的屬性值，分別選取的是體重、翼展、腳蹼和后背顏色作為評(píng)測(cè)基準(zhǔn)。這些測(cè)量的四種值成為特征，也叫屬性。,,數(shù)據(jù)X={x1,x2,x3,x4} 表示一組數(shù)據(jù)標(biāo)簽label Y={y1,y2,y3,y4}訓(xùn)練集 T={(x1,y1),(x2,y2),(x3,y3)}測(cè)試集 {(x4,y4)}特征損失函數(shù)，訓(xùn)練誤差，測(cè)試誤差經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與結(jié)

9、構(gòu)風(fēng)險(xiǎn)最小化交叉驗(yàn)證,選取特定的機(jī)器學(xué)習(xí)算法進(jìn)行分類(lèi)，首先需要做的是訓(xùn)練算法，既學(xué)習(xí)如何分類(lèi)。通常我們?yōu)樗惴ㄝ斎氪罅恳逊诸?lèi)數(shù)據(jù)作為算法的訓(xùn)練集。訓(xùn)練集就是用于訓(xùn)練機(jī)器學(xué)習(xí)算法的數(shù)據(jù)樣本集合，表1是包含5個(gè)樣本集合的訓(xùn)練集，每個(gè)訓(xùn)練樣本有4中特征和一個(gè)目標(biāo)變量，目標(biāo)變量是機(jī)器學(xué)習(xí)算法的預(yù)測(cè)結(jié)果既F(x)，其中x為一組輸入樣本。,損失函數(shù),在監(jiān)督學(xué)習(xí)中，給定x，根據(jù)F(x)給出相應(yīng)的輸出，而這個(gè)輸出是預(yù)測(cè)輸出，和真實(shí)值y可能一致，也可能

10、不一致。用一個(gè)損失函數(shù)或者代價(jià)函數(shù)來(lái)度量預(yù)測(cè)錯(cuò)誤的程度。損失函數(shù)是F（x）和y的非負(fù)值函數(shù)，記做L(y,F(x))。,常用的損失函數(shù),（1） 0-1損失函數(shù)（2） 平方損失函數(shù) （3） 絕對(duì)損失函數(shù) （4）對(duì)數(shù)損失函數(shù),經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與結(jié)構(gòu)風(fēng)險(xiǎn)最小化,經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的策略認(rèn)為，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的模型是最優(yōu)模型結(jié)構(gòu)風(fēng)險(xiǎn)最小化 是為了防止過(guò)擬合而提出的策略。結(jié)構(gòu)風(fēng)險(xiǎn)在經(jīng)驗(yàn)風(fēng)險(xiǎn)的上加上表示模型復(fù)

11、雜度的正則化項(xiàng)或者說(shuō)是懲罰項(xiàng) min R(f),奧卡姆剃刀原理：在所有可能的模型中，能夠很好地解釋已知數(shù)據(jù)并且十分簡(jiǎn)單的次啊是最好的模型，也是應(yīng)該選擇的模型。,如果給定的樣本數(shù)據(jù)充足，進(jìn)行模型選擇的一種簡(jiǎn)單方法就是隨機(jī)地將數(shù)據(jù)切分成三部分，分別為訓(xùn)練集，驗(yàn)證集和測(cè)試集。訓(xùn)練集用來(lái)訓(xùn)練模型，驗(yàn)證機(jī)用于模型選擇，測(cè)試集用于最終對(duì)學(xué)習(xí)方法的評(píng)估。在學(xué)習(xí)到不同的復(fù)雜度的模型中，選擇對(duì)驗(yàn)證集有最小預(yù)測(cè)誤差的模型

12、。 但是，許多實(shí)際應(yīng)用中數(shù)據(jù)并不是充分的，為了選擇好的模型，可以采用交叉驗(yàn)證的方法。交叉驗(yàn)證的基本思想是重復(fù)的使用數(shù)據(jù)；把給定的數(shù)據(jù)進(jìn)行切分，將切分的數(shù)據(jù)集組合成訓(xùn)練集與測(cè)試集，在此基礎(chǔ)上反復(fù)地進(jìn)行訓(xùn)練，測(cè)試以及模型的選擇。,交叉驗(yàn)證,（1）簡(jiǎn)單交叉驗(yàn)證：首先隨機(jī)地將已給數(shù)據(jù)分為兩部分，一部分作為訓(xùn)練集，另一部分最為測(cè)試集；然后用訓(xùn)練集在各種條件下訓(xùn)練模型，從而得到不同的模型，在測(cè)試集上評(píng)價(jià)各個(gè)模型的測(cè)試誤差，

13、選出測(cè)試誤差最小的模型（2）S折交叉驗(yàn)證：首先隨機(jī)的把已給的數(shù)據(jù)切分成s個(gè)互不相交的大小相同的子集，然后利用s-1個(gè)子集的數(shù)據(jù)訓(xùn)練模型，利用余下的自己測(cè)試模型；重復(fù)的隨機(jī)選擇訓(xùn)練子集，最后選出評(píng)測(cè)中平均測(cè)試誤差最小的模型（3）留一交叉驗(yàn)證：當(dāng)S=N時(shí)，成為留一交叉驗(yàn)證，這往往在數(shù)據(jù)缺乏的時(shí)候使用。,交叉驗(yàn)證,樸素貝葉斯算法,貝葉斯分類(lèi)是一類(lèi)分類(lèi)算法的總稱(chēng)，這類(lèi)算法均以貝葉斯定理為基礎(chǔ)，故統(tǒng)稱(chēng)為貝葉斯分類(lèi)假設(shè)一個(gè)樣本集的數(shù)據(jù)分類(lèi)

14、兩類(lèi)。P1(x,y)表示數(shù)據(jù)點(diǎn)（x y）屬于類(lèi)別1的概率，p2(x,y)表示數(shù)據(jù)點(diǎn) （x y）屬于類(lèi)別2的概率 如果p1(x,y)>p2(x,y) 則數(shù)據(jù)（x y）屬于類(lèi)別1 如果p1(x,y)<p2(x,y) 則數(shù)據(jù)（x y）屬于類(lèi)別2,貝葉斯分類(lèi)的基礎(chǔ)——貝葉斯定理,基本流程,1、設(shè) 為一個(gè)待分類(lèi)項(xiàng)，而每個(gè)a為x的一個(gè)特征屬性。2 有類(lèi)別集合 

15、3 計(jì)算 4 求出最大的 則x劃分為類(lèi)別,,,某個(gè)醫(yī)院早上收了六個(gè)門(mén)診病人，如下表?！　“Y狀　　職業(yè) 疾病　　打噴嚏　護(hù)士　　　感冒 　　打噴嚏　農(nóng)夫　　　過(guò)敏 　　頭痛　　建筑工人　腦震蕩 　　頭痛　　建筑工人　感冒 　　打噴嚏　教師　　　感冒 　　頭痛　　教師　　　腦震蕩現(xiàn)在又來(lái)了第七個(gè)病人，是一個(gè)打噴嚏的建筑工人。

16、請(qǐng)問(wèn)他患上感冒的概率有多大？,,P(感冒|打噴嚏x建筑工人) = P(打噴嚏x建筑工人|感冒) x P(感冒) 　　　　/ P(打噴嚏x建筑工人)打噴嚏"和"建筑工人"這兩個(gè)特征是獨(dú)立的,,P(感冒|打噴嚏x建筑工人) = P(打噴嚏|感冒) x P(建筑工人|感冒) x P(感冒) / P(打噴嚏) x P(建筑工人),,P(感冒|打噴嚏x建筑工人)

17、0;　　　　= 0.66 x 0.33 x 0.5 / 0.5 x 0.33 　　　　= 0.66因此，這個(gè)打噴嚏的建筑工人，有66%的概率是得了感冒。同理，可以計(jì)算這個(gè)病人患上過(guò)敏或腦震蕩的概率。比較這幾個(gè)概率，就可以知道他最可能得什么病。這就是貝葉斯分類(lèi)器的基本方法：在統(tǒng)計(jì)資料的基礎(chǔ)上，依據(jù)某些特征，計(jì)算各個(gè)類(lèi)別的概率，從而實(shí)現(xiàn)分類(lèi)。,基于樸素貝葉斯的文本分類(lèi),首先需要拆分文本以便從中獲取特征（詞條），一個(gè)詞條是任

18、意字符的組合。,,,將W 作為一個(gè)個(gè)獨(dú)立的特征，上述公式可寫(xiě)成,假設(shè)所有詞都相互獨(dú)立（獨(dú)立性加色）,訓(xùn)練階段,創(chuàng)建包含所有文檔中出現(xiàn)的不重復(fù)的詞列表['cute' 'love' 'help' 'garbage' 'quit' 'I' 'problems' 'is' 'park' 'st

19、op' 'flea' 'dalmation' 'licks' 'food' 'not' 'him' 'buying' 'posting' 'has' 'worthless' 'ate' 'to' 'maybe' 'p

20、lease' 'dog' 'how' 'stupid' 'so' 'take' 'mr' 'steak' 'my']然后將每一個(gè)文本片段表示為一個(gè)詞條向量，1表示詞條出現(xiàn)在文檔中，0表示未出現(xiàn)。[0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 1 1 0

21、0 0 0 0 0 1]給出一個(gè)新的文檔 ,計(jì)算,,通過(guò)訓(xùn)練集，對(duì)算法進(jìn)行訓(xùn)練 得出P1，P2。,測(cè)試階段,給定一個(gè)測(cè)試詞條，轉(zhuǎn)換成詞條向量計(jì)算 = =比較

22、 大小。,優(yōu)點(diǎn)： 在數(shù)據(jù)較少的情況下仍然有效，可以處理多類(lèi)別問(wèn)題缺點(diǎn)：對(duì)于輸入數(shù)據(jù)的準(zhǔn)備方式比較敏感。,決策樹(shù)學(xué)習(xí),,決策樹(shù),在示例學(xué)習(xí)中，每一個(gè)概念實(shí)際上可以看成是例子中所屬的一個(gè)類(lèi)別,,,可以看做是一個(gè)對(duì)目標(biāo)分類(lèi)的劃分和獲取策略,由一個(gè)根結(jié)點(diǎn)，若干葉結(jié)點(diǎn)和非葉結(jié)點(diǎn)構(gòu)成。根結(jié)點(diǎn)對(duì)應(yīng)于學(xué)習(xí)任務(wù)，分類(lèi)的開(kāi)始。每個(gè)葉結(jié)點(diǎn)都包含一個(gè)分類(lèi)名(概念

23、)，表示一個(gè)實(shí)例的結(jié)束。每個(gè)非葉結(jié)點(diǎn)都包含表示相應(yīng)實(shí)例中的某一屬性。邊代表某一屬性可能的屬性值。,決策樹(shù),從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的每一條路徑都代表一個(gè)具體的實(shí)例同一路徑上的所有屬性之間為合取關(guān)系，不同路徑（即一個(gè)屬性的不同屬性值）之間為析取關(guān)系。決策樹(shù)的分類(lèi)過(guò)程就是從這棵樹(shù)的根接點(diǎn)開(kāi)始，按照給定的事例的屬性值去測(cè)試對(duì)應(yīng)的樹(shù)枝，并依次下移，直至到達(dá)某個(gè)葉節(jié)點(diǎn)為止。,關(guān)于決策樹(shù)：,,可表示為如下規(guī)則集： IF 鳥(niǎo)類(lèi)會(huì)飛 AN

24、D 是家養(yǎng)的 THEN 該鳥(niǎo)類(lèi)可能是和平鴿 IF 鳥(niǎo)類(lèi)會(huì)飛 AND 不是家養(yǎng)的 THEN 該鳥(niǎo)類(lèi)可能是信天翁 IF 鳥(niǎo)類(lèi)不會(huì)飛 AND 會(huì)游泳 THEN 該鳥(niǎo)類(lèi)可能是企鵝 IF 鳥(niǎo)類(lèi)不會(huì)飛 AND 不會(huì)游泳 THEN 該鳥(niǎo)類(lèi)可能是鴕鳥(niǎo),決策樹(shù)還可以表示成規(guī)則的形式,昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵（entropy）的下降速度作為屬性選擇

25、標(biāo)準(zhǔn)的一種學(xué)習(xí)算法。輸入是一個(gè)用來(lái)描述各種已知類(lèi)別的例子集學(xué)習(xí)結(jié)果是一棵用于進(jìn)行分類(lèi)的決策樹(shù),ID3 算法 ：,1.令根結(jié)點(diǎn)包含例子集中所有實(shí)例。2.如果每個(gè)葉結(jié)點(diǎn)包含的例子都屬于同一分類(lèi)，則停止劃分。3.否則需對(duì)葉結(jié)點(diǎn)進(jìn)行進(jìn)一步劃分： (1)需要進(jìn)一步劃分的葉結(jié)點(diǎn)所包含的例子組成子例子集S。 (2)找出對(duì)S來(lái)說(shuō)E值最小的屬性abest。 (3)根據(jù)屬性abest的值對(duì)S進(jìn)行劃分，每個(gè)值將生成一個(gè)分枝。

26、 (4) 執(zhí)行步驟2。,,通過(guò)E值可以找出一個(gè)最有利于當(dāng)前劃分的屬性,ID3 算法 ：,,E是一個(gè)基于熵(平均信息量)的函數(shù)，該函數(shù)評(píng) 價(jià)用各屬性進(jìn)行分類(lèi)所能獲得的信息量，選擇E 值最小即獲得信息量最大的屬性。,ID3 算法,S中屬性ai的值為vij的正例數(shù)目,Nj-為屬性ai的值為vij的反例數(shù)目,熵,熵是研究不確定人工智能的一個(gè)重要參數(shù),熵的歷史可以追溯到19世紀(jì)。1864年德國(guó)物理學(xué)家克勞修斯在研究熱力學(xué)時(shí)首先提出熵

27、的概念：,1877年，玻爾茲曼又給出了熵的統(tǒng)計(jì)學(xué)新定義——玻爾茲曼公式，即S=klnW;k為玻爾茲曼常數(shù)；W是某一宏觀(guān)態(tài)所對(duì)應(yīng)的微觀(guān)態(tài)數(shù)目，即該微觀(guān)態(tài)的熱力學(xué)幾率,1948年，香農(nóng)將熵的定義引入信息領(lǐng)域：信息熵,設(shè)一個(gè)系統(tǒng)X由多個(gè)事件|Xi|（i=1，2,…,n）組成，事件Xi的概率為p(Xi)，那么信息熵定義為：,信息熵的定義：,信息熵大，說(shuō)明什么？,例：給出概率分布,其信息熵分別為：,信息熵越大，不確定性程度越大 信息熵表示事件

28、集X中事件出現(xiàn)的平均不確定性 當(dāng)X中事件出現(xiàn)的概率相等時(shí)，信息熵達(dá)到最大值,,E是一個(gè)基于熵(平均信息量)的函數(shù)，該函數(shù)評(píng) 價(jià)用各屬性進(jìn)行分類(lèi)所能獲得的信息量，選擇E 值最小即獲得信息量最大的屬性。,ID3 算法：,S中屬性ai的值為vij的正例數(shù)目,Nj-為屬性ai的值為vij的反例數(shù)目,危險(xiǎn),狗的例子集,E顏色.棕色＝ E顏色.黑色＝,,,∴ E顏色＝5.510＋5.510＝11.020,,顏色=棕色的狗：4只是危險(xiǎn)

29、的，2只不是危險(xiǎn)的。顏色=黑色的狗：2只是危險(xiǎn)的，4只不是危險(xiǎn)的。,E體形.大＝E體形.中＝E體形.?。?,,∴ E體形＝3.245＋3.245＝6.490,體形=大的4條狗全是危險(xiǎn)的；體形=中/小的狗：1條是危險(xiǎn)的；3條不是危險(xiǎn)的。,ID3 算法,E毛型.光滑＝ E毛型.卷毛＝,∴E毛型＝6＋6＝12,,,毛型=光滑的狗：3條是危險(xiǎn)的；3條不是危險(xiǎn)的。毛型=卷毛的狗：3條是危險(xiǎn)的；3條不是危險(xiǎn)的。,因此，

30、E體形< E顏色< E毛型,現(xiàn)在必須對(duì)“中”“小”這兩個(gè)分枝的實(shí)例重復(fù)上述計(jì)算過(guò)程。,,E顏色＝4 和 E毛型＝6.490,現(xiàn)在只有“體形”為“中”和“小”的“棕色”狗還沒(méi)有明確類(lèi)別，需用“毛型”來(lái)進(jìn)一步劃分。,,,需要的匹配次數(shù)：24,,需要的匹配次數(shù)：36,決策樹(shù)的優(yōu)點(diǎn),可以生成可以理解的規(guī)則；計(jì)算量相對(duì)來(lái)說(shuō)不是很大；可以處理連續(xù)和離散字段；決策樹(shù)可以清晰的顯示哪些字段比較重要。,AdaBoost元算法,當(dāng)需要做

31、出重要決定的時(shí)候，大家往往會(huì)聽(tīng)取多個(gè)人的意見(jiàn)而不是一個(gè)人的意見(jiàn)，元算法就是采用這種思想。,機(jī)器學(xué)習(xí)種類(lèi)繁多，各有優(yōu)缺點(diǎn)。我們自然可以將不同的分類(lèi)器組合起來(lái)，而這種組合結(jié)果稱(chēng)為集成算法，或者元算法。,集成方法有很多形式：可以是不同算法的集成，也可以是同一算法在不同設(shè)置下的集成，還可以是數(shù)據(jù)集不同部分分配給不同分類(lèi)器之后的集成。,基于數(shù)據(jù)隨機(jī)重抽樣的分類(lèi)器構(gòu)建方法,自舉匯聚法，也稱(chēng)bagging方法，是在原始數(shù)據(jù)集選擇s次后得到s個(gè)新數(shù)據(jù)集

32、的方法。新數(shù)據(jù)集和原數(shù)據(jù)集相等，每個(gè)數(shù)據(jù)集都是通過(guò)在原始數(shù)據(jù)集中隨機(jī)選取一個(gè)樣本進(jìn)行替換而得到的。這里的替換意味著可以多次選擇同一個(gè)樣本。,在s個(gè)數(shù)據(jù)建好之后，將某個(gè)學(xué)習(xí)算法分別作用于每個(gè)數(shù)據(jù)集就得到s個(gè)分類(lèi)器。當(dāng)要對(duì)新數(shù)據(jù)進(jìn)行分類(lèi)的時(shí)候，需要應(yīng)用s個(gè)分類(lèi)器進(jìn)行分類(lèi)，選擇分類(lèi)器投票結(jié)果中最多的類(lèi)別作為最后的分類(lèi)結(jié)果。,另一與bagging類(lèi)似的技術(shù)是boosting技術(shù)。前者在訓(xùn)練中，不同的訓(xùn)練器是通過(guò)串行訓(xùn)練而獲得的，每個(gè)分類(lèi)器都根據(jù)

33、已訓(xùn)練出的分類(lèi)器的性能來(lái)進(jìn)行訓(xùn)練。而boosting是通過(guò)集中關(guān)注已有分類(lèi)器錯(cuò)分的哪些數(shù)據(jù)獲得新的分類(lèi)器。,Boosting方法種類(lèi)很多，其中最流行的就是AdaBoost算法。,,,,,,,,,,,,,,,,,,分類(lèi)器2,分類(lèi)器1,分類(lèi)器3,∑,,,0.69,0.90,0.97,AdaBoost元算法,思想：使用弱分類(lèi)器和過(guò)個(gè)實(shí)例來(lái)構(gòu)建一個(gè)強(qiáng)分類(lèi)器基本過(guò)程：訓(xùn)練數(shù)據(jù)中的每個(gè)樣本，并賦予一個(gè)權(quán)重，這些權(quán)重構(gòu)成了向量D，以及分類(lèi)器的權(quán)值。

34、一開(kāi)始，這些權(quán)重初始化成相等的值。首先在訓(xùn)練數(shù)據(jù)上訓(xùn)練出一個(gè)弱分類(lèi)器并計(jì)算該分類(lèi)器的錯(cuò)誤率，然后再同一數(shù)據(jù)集上再次訓(xùn)練弱分類(lèi)器。在分類(lèi)器的第二次訓(xùn)練當(dāng)中，將會(huì)重新調(diào)整每個(gè)樣本的權(quán)重，使分對(duì)的樣本權(quán)重變低，分錯(cuò)的樣本權(quán)重變高，同時(shí)更新分類(lèi)器的權(quán)值，以此類(lèi)推。,,其中α是根據(jù)錯(cuò)誤率ε進(jìn)行計(jì)算的，錯(cuò)誤率ε定義如下：而α的計(jì)算公式如下：計(jì)算出α的值后，可以對(duì)權(quán)值向量D進(jìn)行調(diào)整，使那些正確分類(lèi)的樣本權(quán)值變低，錯(cuò)誤分類(lèi)的樣本權(quán)值變高。如果

35、一個(gè)樣本被正確分類(lèi)，則其權(quán)值被更改為：反之：,,假設(shè)訓(xùn)練出m個(gè)分類(lèi)器，最終的分類(lèi)結(jié)果等于：,,圖中，“+”和“-”分別表示兩種類(lèi)別，在這個(gè)過(guò)程中，我們使用水平或者垂直的直線(xiàn)作為分類(lèi)器，來(lái)進(jìn)行分類(lèi)。,,第一步：　根據(jù)分類(lèi)的正確率，得到一個(gè)新的樣本分布D2­，一個(gè)子分類(lèi)器h1其中： 　其中劃圈的樣本表示被分錯(cuò)的。在右邊的途中，比較大的“+”表示對(duì)該樣本做了加權(quán)，,,第二步：根據(jù)分類(lèi)的正確率，得到一

36、個(gè)新的樣本分布D3，一個(gè)子分類(lèi)器h2,,第三步：得到一個(gè)子分類(lèi)器h3,,整合所有的子分類(lèi)器：,Adaboost優(yōu)點(diǎn),1)adaboost是一種有很高精度的分類(lèi)器2)可以使用各種方法構(gòu)建子分類(lèi)器，adaboost算法提供的是框架 3)當(dāng)使用簡(jiǎn)單分類(lèi)器時(shí)，計(jì)算出的結(jié)果是可以理解的。而且弱分類(lèi)器構(gòu)造極其簡(jiǎn)單 4)簡(jiǎn)單，不用做特征篩選5)不用擔(dān)心overfitting！,回歸,回歸的目的就是預(yù)測(cè)數(shù)值型的目標(biāo)

37、值。總成績(jī)=0.6*期末成績(jī)+0.2*期中成績(jī)+0.2*平時(shí)成績(jī)這就是回歸方程，其中0.6 0.2 0.2就是回歸系數(shù)，求這些回歸系數(shù)的過(guò)程就是回歸。假設(shè)我們有一組數(shù)據(jù){X,Y}，X={x1,x2,…,xm},Y={y1,y2,…,ym},對(duì)error求導(dǎo)，并令其等于零，解出,,,局部加權(quán)線(xiàn)性回歸：給待測(cè)點(diǎn)附近每個(gè)點(diǎn)一個(gè)權(quán)重。,,K=1,K=0.01,K=0.003,,如果特征比樣本數(shù)還多（n>m）,輸入矩陣X不是滿(mǎn)秩矩陣，

38、而非滿(mǎn)秩矩陣在求逆會(huì)出現(xiàn)問(wèn)題。為了解決這個(gè)問(wèn)題，引入了嶺回歸的概念。,,嶺回歸就是在矩陣 上加上一 個(gè) 矩陣，使其非奇異。矩陣I 是一個(gè)m*m的單位矩陣，對(duì)角線(xiàn)上為1，其他元素為0. 是自定義的一個(gè)參數(shù)。,Logistic回歸,,,假設(shè)現(xiàn)在有一些數(shù)據(jù)點(diǎn)，我們用一條直線(xiàn)對(duì)這些點(diǎn)擬合（最佳擬合直線(xiàn)），這個(gè)擬合的過(guò)程就叫回歸。根據(jù)現(xiàn)有數(shù)據(jù)對(duì)分類(lèi)邊界線(xiàn)簡(jiǎn)歷回歸公式，以此進(jìn)行分類(lèi)，訓(xùn)練分類(lèi)器時(shí)的做法

39、就是尋找最佳擬合參數(shù)。,我們想要的函數(shù)應(yīng)該是能夠接受所有的輸入然后預(yù)測(cè)出類(lèi)別。在兩類(lèi)的情況下，函數(shù)應(yīng)該輸出0或1.有很多單位躍階函數(shù)（海維賽德躍階函數(shù)）。然而，這種函數(shù)在跳躍點(diǎn)上從0瞬間跳到1上，這個(gè)瞬間躍階很難處理好Sigmoid函數(shù) 當(dāng)x為0時(shí)，函數(shù)值為0.5，隨著x增大，函數(shù)值增大并逼近于1，x減小，函數(shù)值減小并逼近于0.,,如果采用向量

40、的方法寫(xiě),X就是輸入數(shù)據(jù)， 就是需要進(jìn)行訓(xùn)練的參數(shù)。通過(guò)訓(xùn)練后找到最優(yōu)化的參數(shù),梯度上升法,基本思想：想找到某函數(shù)的最大值，最好的方法是沿著該函數(shù)的梯度方向探尋。,梯度上升算法的迭代公式：,,,,每個(gè)回歸系數(shù)初始化為1重復(fù)N次：計(jì)算整個(gè)數(shù)據(jù)集的梯度使用 更新回歸系數(shù)返回回歸系數(shù),,,,W=[4.120711455781440, 0.4797796

41、32289162, -0.616416051893343],這個(gè)分類(lèi)結(jié)果只錯(cuò)分了4個(gè)點(diǎn)，分類(lèi)精度相當(dāng)不錯(cuò)。但是這個(gè)方法需要大量的計(jì)算，不適用于大規(guī)模的數(shù)據(jù)。,神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)寫(xiě)為ANNs）也簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò)（NNs）或稱(chēng)作連接模型（Connection Model），它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通

42、過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。,,,86,,連接權(quán)值,87,,改變權(quán)值的過(guò)程就是學(xué)習(xí)的過(guò)程,88,,規(guī)律？,89,The Hebb Rule,D. Hebb, 1904-1985.Degree in English, 1925.Master degree in psychology at McGill University.Ph.D. from Harvard in 1936.Moved to Y

43、erkes Lab in 1942.Published “The Organization of Behavior” in 1949.,90,Hebb Rule,,,,,,,,,,,,,,synapse,Hebb 規(guī)則是最早的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則之一，其最關(guān)鍵的一條假設(shè)：若一條突觸兩側(cè)的兩個(gè)神經(jīng)元同時(shí)被激活，那么突觸的強(qiáng)度將增大。,91,,權(quán)值W 不僅僅在 a，p 全為正數(shù)增大，在 全為負(fù)數(shù)時(shí)也增大,92,Hebb 規(guī)則,如果兩個(gè)神經(jīng)

44、元的突觸同時(shí)激活，那么它們之間的連接強(qiáng)度會(huì)增加,93,自聯(lián)想存儲(chǔ)器– 學(xué)習(xí)規(guī)則,,Supervised Hebbian Learning,94,Matrix Form:,(Zero InitialWeights),學(xué)習(xí)規(guī)則,95,,,,P1 P2 P3,P,,,？,96,P,P3,P2,P1,,Inputs:,Outputs:,Input:,Output: ???,

45、97,,基于heb神經(jīng)網(wǎng)絡(luò)的PCA,傳統(tǒng)PCA算法的缺點(diǎn)： 需要大量的計(jì)算 屬于批量學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的PCA的優(yōu)點(diǎn)： 不需要計(jì)算協(xié)方差矩陣 屬于在線(xiàn)學(xué)習(xí),99,基于hebb規(guī)則的權(quán)值更新公式：,,數(shù)據(jù)集,,基于hebb規(guī)則的神經(jīng)網(wǎng)絡(luò)已被證明 當(dāng)?shù)螖?shù)無(wú)窮大時(shí)，方差趨向于,,,64 pages,102,Sanger proposed the Ge

46、neralized Hebbian Algorithm (GHA),多維壓縮,64 pages,103,GHA Learning Algorithm,64 pages,104,2維壓縮,(Oja Algorithm based onHebb rules),第一個(gè)輸出神經(jīng)元權(quán)值向量,第二個(gè)輸出神經(jīng)元權(quán)值向量,64 pages,105,,…,…,感知機(jī),感知器是用于線(xiàn)性可分模式分類(lèi)的最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò).它由一個(gè)具有可調(diào)突觸權(quán)值和偏置的神經(jīng)元

47、組成。,,,,…,X1X2xm,,w1,w2,wm,,偏置b,,,v,Φ（·）,輸出Y,感知器權(quán)值自適應(yīng)公式,1.假如訓(xùn)練成員第N個(gè)成員x(n)根據(jù)算法中的第N次迭代的權(quán)值向量w(n)能正確分類(lèi)，那么感知器的權(quán)值向量不做修改2.否則，感知器的權(quán)值向量根據(jù)以下規(guī)則進(jìn)行修改: w(n+1)=w(n)-η(n)x(n) 假如預(yù)測(cè)結(jié)果為1，實(shí)際屬于類(lèi)2 w(n+1)=w(n)+η(n

48、)x(n) 假如預(yù)測(cè)結(jié)果為2，實(shí)際屬于類(lèi)1這里η(n)是學(xué)習(xí)參數(shù)，控制這第n次迭代中作用于權(quán)值向量的調(diào)節(jié),BP神經(jīng)網(wǎng)絡(luò),反向傳播算法也稱(chēng)BP算法。由于這種算法在本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的數(shù)學(xué)模型，所以，有時(shí)也稱(chēng)為BP模型。BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來(lái)的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無(wú)反饋的多層前向網(wǎng)絡(luò)。故而．有時(shí)也稱(chēng)無(wú)反饋多層前向網(wǎng)絡(luò)為BP模型。,基本原理：利用輸出后的誤差來(lái)估計(jì)輸

49、出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì),BP神經(jīng)網(wǎng)絡(luò),,,,,具有一層隱藏層的多層感知器,函數(shù)信號(hào)的前向傳播和誤差信號(hào)的反向傳播,BP模型的學(xué)習(xí)過(guò)程,反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。這兩個(gè)過(guò)程的工作簡(jiǎn)述如下。1．正向傳播輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神

50、經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。2．反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。步驟1,2不斷循環(huán) 直到網(wǎng)絡(luò)輸出誤差減少到可接受程度或者進(jìn)行到預(yù)先設(shè)定的次數(shù)為止。,自組織映射,當(dāng)人腦接收外界的時(shí)空信息時(shí)，大腦皮層的特定區(qū)域會(huì)興奮，而且類(lèi)似的外界信息在對(duì)應(yīng)的區(qū)域是連續(xù)的。因此Koh

51、onen認(rèn)為，一個(gè)神經(jīng)網(wǎng)絡(luò)在接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，且各個(gè)區(qū)域?qū)斎肽Ｊ接胁煌捻憫?yīng)特征，而且這個(gè)特征是自動(dòng)完成的。SOFM只有兩層：輸入層和競(jìng)爭(zhēng)層，競(jìng)爭(zhēng)層神經(jīng)元的排列有多種形式：一維線(xiàn)陣、二維平面、三維柵格等等。,權(quán)值調(diào)整方法是在勝者為王基礎(chǔ)上改進(jìn)的，即優(yōu)勝領(lǐng)域內(nèi)的神經(jīng)元都可以調(diào)整權(quán)值。理論上應(yīng)該是離勝者越近，學(xué)習(xí)率的越大，但是為簡(jiǎn)化計(jì)算，實(shí)際中優(yōu)勝領(lǐng)域內(nèi)一般取相同的學(xué)習(xí)率。優(yōu)勝領(lǐng)域開(kāi)始定的很大，隨著訓(xùn)練次

52、數(shù)的增加，最終應(yīng)該收縮到0。 SOFM分為訓(xùn)練階段和工作階段，要訓(xùn)練階段，權(quán)向量被訓(xùn)練為輸入樣本空間的聚類(lèi)中心。在工作階段，當(dāng)輸入向量與某個(gè)競(jìng)爭(zhēng)層的內(nèi)星權(quán)值相似時(shí)，自然會(huì)被分到對(duì)應(yīng)的聚類(lèi)上去。因此SOFM可用作模式分類(lèi)器。注意當(dāng)輸入模式在訓(xùn)練集中從未出現(xiàn)過(guò)時(shí)，SOFM網(wǎng)只能將它歸入最接近的模式分類(lèi)中去。,自組織映射主要有三個(gè)過(guò)程：1.競(jìng)爭(zhēng)。對(duì)每個(gè)輸入模式，網(wǎng)絡(luò)中的神經(jīng)元計(jì)算它們各自判別的函數(shù)值。具有最大函數(shù)值的特定神經(jīng)元成為競(jìng)爭(zhēng)的

53、勝利者2.合作。獲勝神經(jīng)元決定興奮神經(jīng)元的拓?fù)溧徲虻目臻g位置，從而提供這樣的相鄰神經(jīng)元合作的基礎(chǔ)3.突觸調(diào)節(jié)。使興奮神經(jīng)元通過(guò)對(duì)它們的突觸權(quán)值進(jìn)行適當(dāng)?shù)恼{(diào)節(jié)以增強(qiáng)它們關(guān)于該輸入模式的判別函數(shù)值。所做的調(diào)節(jié)是獲勝神經(jīng)元對(duì)以后相似的輸入模式響應(yīng)增強(qiáng)了。,遞歸神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)的特點(diǎn),1)可以充分逼近任意復(fù)雜的非線(xiàn)性關(guān)系； (2)所有定量或定性的信息都等勢(shì)分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性； (3