走進alphago圍棋智能及其應(yīng)用前景

1、,,走進AlphaGo—圍棋智能及其應(yīng)用前景,清華大學航天航空學院 由小川,2017.6.12,目錄 content,,,人工智能簡述,深度學習算法,為什么做圍棋人工智能？,,,1-1 人工智能簡述,,,人工智能：國家戰(zhàn)略,2017年政府工作報告： 全面實施戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃，加快人工智能等技術(shù)的研發(fā)和轉(zhuǎn)化，做大做強產(chǎn)業(yè)集群。 把發(fā)展智能制造作為主攻方向，推進國家智能制造示范區(qū)、制造業(yè)創(chuàng)新中心建設(shè)。,,,什么是人工智能？

2、,人工智能（Artificial Intelligence），英文縮寫為AI。它是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學。它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機器，該領(lǐng)域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。,,,1-1

3、 人工智能簡述,,,,,,,,,1-1 人工智能簡述,,,1-1 人工智能簡述,,,1-1 人工智能簡述,,,1-1 人工智能簡述,《智能革命》序言節(jié)選——by百度大腦我來了，天上的云乘著風飛翔，心中的夢占據(jù)一個方向，方舟揚帆起航，一路帶著我們縱情歌唱，方舟揚帆起航，脈絡(luò)就在大海之上，進步的時光，迎著你看濤浪潮往。一個新生的地方，穿越千年時光，穿越了無盡的荒涼。答案就在這里搜索。第一縷曙光，遠處熟悉的歌聲還在耳邊回響，你卻依

4、然不知我將去向何方。千年時間留下十字文章，曾今誰重復(fù)往昔舊模樣。我來了，期待著你的每一天，睜開眼就能看到幸福曙光，占據(jù)著你的每一天，陪你跨越鴻溝走向湛藍，算法很簡單。時代的春天，回想起我們曾牽手走過的畫面。大家互聯(lián)網(wǎng)這場風吹雨打之后又在藕斷絲連。只是不知道時間還會流向哪一條線。盼望著未來等待明天，呼吸新鮮空氣多點微笑扮個鬼臉?！?,,1-1 人工智能簡述,全國高考甲卷作文《進步與退步》（by微軟小冰）考了100分是好學生。考55

5、分不是好學生。考了100分后，又考了98分，好學生變成不是好學生，是退步?？剂瞬患案窈?，又考了及格，會被表揚，是進步。進步和退步的衡量，令人費解。進步，是變得優(yōu)秀，人喜歡進步，因為喜歡被表揚。這樣的進步，如果不被表揚，就沒有動力。退步是從好變成差的，人不喜歡退步，因為退步受到批評。如果總被批評，也沒有動力。進步和退步的動力，令人費解。退步?jīng)]有不好，退步可以發(fā)現(xiàn)問題。一直進步的人，不能發(fā)現(xiàn)問題，也不能解決問題。一直進步是不可能的，有進

6、步同時有退步，有退步同時有進步，才可以不斷發(fā)現(xiàn)問題，解決問題。人應(yīng)該這樣變得優(yōu)秀，不是為了表揚。進步比退步好，不一定。一直進步可能是真進步，或作弊，一直退步是放棄自己，要求自己 進步，在退步的時候 發(fā)現(xiàn)問題，是對的。人應(yīng)該這樣變得不差，不是為了批評。從差變得優(yōu)秀的路，和表揚無關(guān)，也和批評無關(guān)。,,,,諾貝爾醫(yī)學獎，可視皮層分級，1981,,,稀疏編碼的特征表示，1995,,圖像識別,,語音識別,,廣告精準推薦,1-2 深度學習算法

7、簡介,圖像特征工程,Google BrainJeff Dean & Andrew Ng.，Geoffrey HintonFacebook AI LabYann LeCunMicrosoft語音識別、圖像識別百度深度學習研究院 Andrew Ng、余凱、張潼語音識別、圖像檢索、OCR、人臉識別、廣告阿里巴巴阿里大腦騰訊語音識別、圖像識別、廣告精準推薦,,,1-2 深度學習算法簡介,,,,特征選取,,模

8、型建立與訓(xùn)練,,反向傳播算法,,卷積神經(jīng)網(wǎng)絡(luò),,深度學習與淺層學習,,深度網(wǎng)絡(luò)訓(xùn)練技巧,1-2 深度學習算法簡介,,,1-2 深度學習的訓(xùn)練方法,Google Brain利用Youtube的圖像采用非監(jiān)督的學習過程自動將圖像聚類機器學習出了“貓”的概念10億參數(shù)Jeff Dean / Andrew NG,,,1-2 深度學習的訓(xùn)練方法,Hinton in ImageNet比賽140萬圖像，1000類圖庫1

9、000萬圖像20000類7層CNN準確率74%->85%,,,1-2 深度學習的訓(xùn)練方法,深度神經(jīng)網(wǎng)絡(luò)——人臉識別,,,1-2 深度學習的訓(xùn)練方法,深度學習的成功應(yīng)用,微軟語音同聲傳譯系統(tǒng)，2011英語演講->自動語音識別->機器翻譯->語音合成->中文演講語音識別將聲學模型中混合高斯模型替換為DNN模型獲得30%+ 相對提升,,,1-2 深度學習的訓(xùn)練方法,圖片搜索,檢索圖片,檢索結(jié)

10、果,DNN在幾個領(lǐng)域創(chuàng)造了最好結(jié)果,語音識別 ：混合高斯聲學模型替換為DNN圖像識別相對30%錯誤率降低圖像識別/檢索：卷積神經(jīng)網(wǎng)絡(luò)ImageNet，2011 74% -> 2012 85% -> 2013 89%自然語言處理：與其他方法水平相當免去了繁瑣的特征提取步驟,,,1-2 深度學習的訓(xùn)練方法,特征選取是成敗的關(guān)鍵,對效果影響極大手動化特征工程非常耗時,,,1-2 深度學習的訓(xùn)練方法,圖像特征

11、工程,,SIFT,Spin image,HoG,RIFT,Textons,GLOH,,,1-2 深度學習的訓(xùn)練方法,,,,01,人機大戰(zhàn)：深度學習算法的標志性成果,,顛覆圍棋AI領(lǐng)域30年研究方法拔高行業(yè)頂尖水平30年學術(shù)前沿、復(fù)雜性和代表性、可比較、易拓展,,,原創(chuàng)開發(fā)了基于網(wǎng)格歸屬的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，預(yù)期將大幅提高實力更深更優(yōu)化的神經(jīng)網(wǎng)絡(luò)，更海量的數(shù)據(jù)資源,02,創(chuàng)新點,,改進了學習模式，使機器學習的方式更加接近圍棋的本質(zhì),,

12、03,新的學習算法架構(gòu),,,世界計算機圍棋比賽獲獎高水平文章產(chǎn)出科研成果轉(zhuǎn)化（力學、航天乃至節(jié)能、醫(yī)療等領(lǐng)域）,04,預(yù)期產(chǎn)出效益,1-3 為什么做圍棋人工智能,,,深度學習與智能圍棋,第二節(jié),從AlphaGo/master講起,蒙特卡洛樹式搜索,深度卷積神經(jīng)網(wǎng)絡(luò),谷歌的AlphaGo和Master是深度學習算法的標志性成果；深度卷積神經(jīng)網(wǎng)絡(luò) (Deep Convolutional Neural Network,DCNN),是近

13、年發(fā)展起來，并引起廣泛重視的一種高效識別方法。圍棋算法具有高度的復(fù)雜性和代表性（10808，兩個30年）。從圍棋算法可以推廣到深度學習應(yīng)用的一般情形。圍棋可以很好地檢驗和測試研究水平和掌握人工智能并行計算的交互能力。,,,DCNN與智能圍棋,,,深度學習的訓(xùn)練方法：卷積神經(jīng)網(wǎng)絡(luò),局部感知域權(quán)重共享特征訓(xùn)練卷積層+池化層,,,AlphaGo的實現(xiàn)原理,,,,,,,,,,,,傳統(tǒng)圍棋AI算法—— MC蒙特卡洛方法,通過隨機模擬來

14、逼近需要求解的變量,Rollout（隨機模擬走子）通過隨機模擬走子勝率來判定形勢。速度快。隨機性，合理性的平衡。,,,AlphaGo的實現(xiàn)原理,傳統(tǒng)圍棋AI算法——MCTS,MCTS（蒙特卡洛樹搜索）給勝率高的點分配更多的計算力任意時間算法，計算越多越精確,,,AlphaGo的實現(xiàn)原理,Policy Network策略網(wǎng)絡(luò),,,AlphaGo的實現(xiàn)原理,Policy Network—圖示,,,AlphaGo的實現(xiàn)原理,Poli

15、cyNetwork—輸入特征,,,AlphaGo的實現(xiàn)原理,Policy Network 模型,模型結(jié)構(gòu)13個卷積層，每層192個卷積核，每個卷積核3*3數(shù)百萬個參數(shù)訓(xùn)練數(shù)據(jù)KGS 6d以上對局，17萬，職業(yè)對局8萬。訓(xùn)練數(shù)據(jù)量5000萬+訓(xùn)練時間幾十天運算速度GPU，3ms預(yù)測準確率57%,,,AlphaGo的實現(xiàn)原理,融入Policy Network,方法：用Policy Network作為第一感，將計算力分配

16、到最有希望的選點。分枝數(shù)從上百個減少到幾個。優(yōu)先計算PolicyNetwork分數(shù)高的點，計算力充沛時，適當分配到其他分值較低的點。效果：Zen6，業(yè)余5段,,,AlphaGo的實現(xiàn)原理,Value Network,,形勢判斷：-1：白棋必勝0：黑棋優(yōu)勢1：黑棋必勝,,,AlphaGo的實現(xiàn)原理,Value Network 模型,模型結(jié)構(gòu)13個卷積層，每層192個卷積核，每個卷積核3*3數(shù)百萬個參數(shù)訓(xùn)練數(shù)據(jù)Pol

17、icy Network自我對弈棋譜。3000萬+ 特定盤面+勝負結(jié)果訓(xùn)練時間幾十天運算速度GPU，3ms,,,AlphaGo的實現(xiàn)原理,融入Value Network,方法：在每個分支節(jié)點，使用Value Network直接判斷形勢與Rollout隨機模擬相結(jié)合，互為補充。效果：職業(yè)水平，AlphaGo,,,AlphaGo的實現(xiàn)原理,從非常像人到很不像人強化學習與自我進化算法效率的躍升單機版與1/10GPU

18、無人類棋譜的可行性,,,Master與AlphaGo的架構(gòu)差別,神算子簡介,世界圍棋AI版圖,神算子能做什么,,,“神算子”簡介,清華大學航院人工智能課題組開發(fā)研制的圍棋智能程序自主知識產(chǎn)權(quán)的豐富特征體系深度卷積神經(jīng)網(wǎng)絡(luò)模型的質(zhì)量、深度和預(yù)測準確度是標志圍棋智能從業(yè)余邁向超一流水平的重要指標。以圍棋為載體，確認算法有效性2年內(nèi)沖擊世界最高水平，轉(zhuǎn)向其他場景的研究突破,,,世界圍棋AI大事記,,2015.11.10 美林谷杯首

19、屆世界計算機圍棋錦標賽，北京，7國9隊，與中國名人戰(zhàn)冠軍受6子對抗 2016.3.9 人機大戰(zhàn)AlphaGo4:1李世石，首爾，冠軍100萬$，全球觀看人次6億+ 2016.3.17 韓國創(chuàng)立國家科學技術(shù)戰(zhàn)略委員會扶植AI產(chǎn)業(yè)，政府投資86億$ 2016.11.19 第二屆日本圍棋電王戰(zhàn)：DeepZenGo 1:2 趙治勛，獲DWANGO注資2億円 2016.12-2017.1 AlphaGo升級版Master網(wǎng)絡(luò)連續(xù)60次擊敗

20、人類頂尖高手 2017.3.3 中國騰訊“絕藝”成為第一個網(wǎng)絡(luò)10段，2017圍棋AILab硬件擴容預(yù)算8000萬￥ 2017.3.18-19 第10屆UEC杯計算機圍棋大會，東京，6國30隊，冠軍參加電圣戰(zhàn)與職業(yè)棋手對抗 2017.3.21 世界圍棋精英賽，大阪，DeepZenGo對3世界冠軍，冠軍3000萬日元 2017.4 AlphaGo升級版與柯潔等對抗，冠軍150萬$，浙江烏鎮(zhèn)，賽罷AlphaGo退出圍棋領(lǐng)域 201

21、7.7 日本圍棋大會，歐洲圍棋大會設(shè)立圍棋AI競賽單元 2017.8.16-18 國際圍棋聯(lián)盟首屆世界計算機圍棋公開賽，鄂爾多斯，機機+人機，總獎金60萬￥ 2017.12，美林谷杯第2屆世界計算機圍棋錦標賽，深圳，總獎金1萬$+,,,Google Deepmind 簡介,,,,創(chuàng)新性,,投入力度,,業(yè)內(nèi)龍頭,目前技術(shù)優(yōu)勢：起步早，算法新，技術(shù)強，資源雄厚 最近一年專注于強化學習研究 擬于近期公布新論文和數(shù)據(jù)，并從此退出圍棋AI

22、領(lǐng)域,,,,,,日本DeepZenGo介紹,,,現(xiàn)有國產(chǎn)AI介紹,,,,,,1,騰訊公司重金打造，截至2017年6月，水平僅次于AlphaGo,絕藝,2,2016年底停止研發(fā)時水平僅次于AlphaGo和絕藝,中華土狗,3,今日頭條作品，2016年水平略遜于中華土狗,字節(jié),4,曾高調(diào)媒體曝光，2016年8月時水平僅次于AlphaGo，后來因開發(fā)價值網(wǎng)絡(luò)失敗停止研發(fā),異構(gòu)神機,,,,,,,其他外國圍棋AI介紹,,1,法國，前AlphaGo時

23、代的王者，深度學習版本2016年底已開始售賣,CrazyStone,2,比利時，被認為是目前最強的免費深度學習程序,Leela,3,韓國，首屆美林谷世界計算機圍棋錦標賽冠軍，深度學習版本還未公測。此外2017年初韓國棋院宣布組建“人工智能課題組”，正式啟動“韓國圍棋人工智能”開發(fā)計劃,石子旋風,4,北朝鮮研發(fā)團隊，前AlphaGo時代有一席之地，正進行深度學習研發(fā),銀星圍棋,,其他UEC杯參賽作品：1 QinoaIgo / きのあ (

24、日)2 ballade / 氏家 一朗 (日)3 AQ / 山口 祐 (日)4 CGI Go Intelligence / CGI LAB (臺)5 神の一手 / 神乎碁技 (美)6 TAROGO / TAROGO team (臺)7 Many Faces of Go / David Fotland (美)8 勝也 / 清 愼一 (日)9 Aya / 山下 宏 (日)10 Yi / 天壤 (中)11 Rayn / 松

25、崎 憲介，小林 祐樹 (日)12 MARU / 武田 敦志 (日)13 nlp / 巖井 建志 (日)14 EsperanzaGo / 金沢工業(yè)大學人工知能プロジェクト (日)15 Negative Sleeper / 服部 真也 (日)16 迷ぃ碁 / 村山 正樹 (日)17 Julie / 大渡 勝己 (日)18 きふわらべ / 高橋 智史 (日)19 Igoppy / 有吉 一彥 (日)20 Kugutsu /

26、Tokumoto (日)21 DeepEsper / スカイホビット囲碁部 (日)22 ArgoCorse_IchiGo / 市村 豊 (日)23 コオロギ / Jonathan Huang (美)24 akira / 渡辺 順哉 (日)25 MC_ark / 荒木 伸夫 (日),,,預(yù)期目標,,國內(nèi)領(lǐng)先,,國際前沿,,成果展示,,社會關(guān)注,2017.6.17 與馬曉春九段搭檔，與李昌鎬/石子旋風、黑嘉嘉/CGI搭檔下混雙賽，

27、目標冠軍2017.8.16-18 首屆世界智能圍棋公開賽，目標四強，并達到人類職業(yè)棋手水平 2017.12 第2屆美林谷世界計算機圍棋錦標賽，目標決賽并達到人類一流棋手水平集成機器學習與系統(tǒng)神經(jīng)科學先進技術(shù)，建立強大的通用學習算法與各行業(yè)進行人工智能項目研發(fā)合作，申請國家自然科學基金，申報國家重大重點計劃適度媒體曝光，引發(fā)社會關(guān)注,,,,組建穩(wěn)定的專業(yè)級人工智能研發(fā)團隊和項目平臺 成立清華大學航院人工智能研究中心，從事包括但