2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩25頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、深度學(xué)習(xí)之word2vec,學(xué)習(xí)、分享與交流陳凱2015/12/17,目錄,基本概念模型與方法實(shí)戰(zhàn)與應(yīng)用,詞向量,自然語言中的詞語在機(jī)器學(xué)習(xí)中表示符號One-hot Representation例如:“話筒”表示為 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...]“麥克”表示為 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 ...]實(shí)現(xiàn)時就可以用0,1,2,3,...來表示詞

2、語進(jìn)行計算,這樣“話筒”就為3,“麥克”為8.存在兩個問題當(dāng)文本豐富度較大時,維度過大詞匯鴻溝:任意兩個詞之間都是孤立的,不能體現(xiàn)詞和詞之間的關(guān)系,詞向量,Distributional Representation詞表示為:[0.792, ?0.177, ?0.107, 0.109, 0.542, ...]常見維度50或者100解決“詞匯鴻溝”問題可以通過計算向量之間的距離(歐式距離、余弦距離等)來體現(xiàn)詞與詞的相似性如

3、何訓(xùn)練這樣的詞向量沒有直接的模型可訓(xùn)練得到可通過訓(xùn)練語言模型的同時,得到詞向量,語言模型,判斷一句話是不是正常人說出來的,用數(shù)學(xué)符號描述為給定一個字符串"w1,w2,...,wt",計算它是自然語言的概率 ,一個很簡單的推論是例如,有個句子"大家,喜歡,吃,蘋果"P(大家,喜歡,吃,蘋果)=p(大家)p(喜歡|大家)p(吃|大家,喜歡)p(蘋果|大

4、家,喜歡,吃)簡單表示為計算 問題,語言模型,現(xiàn)有模型N-gram模型N-pos模型...Bengio的NNLMC&W 的 SENNAM&H 的 HLBLMikolov 的 RNNLMHuang 的語義強(qiáng)化...,相似的詞語擁有相似的語境,word2vec原理,兩種模型,兩種方法,簡單神經(jīng)網(wǎng)絡(luò),,掃雷機(jī)的神經(jīng)網(wǎng)絡(luò),權(quán)重向量: 0.3, -0.8, -0.2, 0.6

5、, 0.1, -0.l, 0.4, 0.5 w1x1 + w2x2 + w3x3 +...+ wnxn >= t輸入: 掃雷機(jī)視角向量,掃雷機(jī)與最近地雷的方向向量輸出: 左輪力、 右輪力。,,,CBOW模型+Hierarchical Softmax方法,CBOW模型INPUT:輸入層PROJECTION:投影層OUTPUT:輸出層w(t):當(dāng)前詞語(向量)w(t-2),w(t-1),w(t+1),w(t+2):

6、當(dāng)前詞語的上下文SUM:上下文的累加和,CBOW模型+Hierarchical Softmax方法(續(xù)),,哈夫曼樹(霍夫曼樹)又稱為最優(yōu)樹.假設(shè)有n個權(quán)值,則構(gòu)造出的哈夫曼樹有n個葉子結(jié)點(diǎn)。 n個權(quán)值分別設(shè)為 w1、w2、…、wn,則哈夫曼樹的構(gòu)造規(guī)則為:(1) 將w1、w2、…,wn看成是有n 棵樹的森林(每棵樹僅有一個結(jié)點(diǎn));(2) 在森林中選出兩個根結(jié)點(diǎn)的權(quán)值最小的樹合并,作為一棵新樹的左、右子樹,且新樹的根結(jié)點(diǎn)權(quán)值為

7、其左、右子樹根結(jié)點(diǎn)權(quán)值之和;(3)從森林中刪除選取的兩棵樹,并將新樹加入森林;(4)重復(fù)(2)、(3)步,直到森林中只剩一棵樹為止,該樹即為所求得的哈夫曼樹。,CBOW模型+Hierarchical Softmax方法(續(xù)),為什么建哈夫曼樹?,非葉子結(jié)點(diǎn)為LR分類器,葉子結(jié)點(diǎn)對應(yīng)詞典中的一個詞,目標(biāo):,目標(biāo):,Word2Vec設(shè)置了一個非常簡單的能量函數(shù) E(A,C)=-(A?C),(內(nèi)積),假如C可以分成G,H兩類,又明確

8、A屬于Gp(A│C)=p(A|G)p(G|C) 這樣即把每次的p(A│C)計算復(fù)雜度從O(N)降到O(LogN),CBOW模型+Hierarchical Softmax方法(續(xù)),句子:我,喜歡,觀看,巴西,足球,世界杯w=足球,CBOW模型+Hierarchical Softmax方法(續(xù)),正類概率:負(fù)類概率:"足球" 葉子節(jié)點(diǎn)經(jīng)過4次二分類由Context("足球")

9、預(yù)測"足球"出現(xiàn)的概率,對于葉節(jié)點(diǎn)的每一個詞,有一個全局唯一的編碼,形如"1001"。在訓(xùn)練階段,當(dāng)給定上下文,要預(yù)測的詞是w_t的時候,我們事先可以知道它的編碼是1001。我們就從二叉樹的根節(jié)點(diǎn)開始遍歷,我們希望在根節(jié)點(diǎn),隱層詞向量Xw和與根節(jié)點(diǎn)相連經(jīng)過logistic計算得到bit=1的概率盡量接近0,在第二層,希望其bit=1的概率盡量接近1,這么一直下去,我們把一路上計算得到的概率相乘

10、,即得到目標(biāo)詞w_t在當(dāng)前網(wǎng)絡(luò)下的概率P(w_t),那么對于當(dāng)前這個sample的殘差就是1-P(w_t)損失函數(shù)就是要最小化 這個殘差,word2vec實(shí)戰(zhàn)(一),訓(xùn)練數(shù)據(jù)集:經(jīng)過分詞后的新聞數(shù)據(jù),大小184MB查看"中國","釣魚島","旅游","蘋果"幾個詞語的相似詞語如下所示,word2vec實(shí)戰(zhàn)(一),向量加減法"中國+北京-日本

11、","中國+北京-法國","家庭+孩子-學(xué)校",word2vec應(yīng)用(一),機(jī)器翻譯語言詞語的關(guān)系集合被表征為向量集合向量空間內(nèi),不同語言享有許多共性實(shí)現(xiàn)一個向量空間到另一個向量空間的映射和轉(zhuǎn)換圖為英語和西班語的五個詞在向量空間中的位置(已經(jīng)過降維)對英語和西班語之間的翻譯準(zhǔn)確率高達(dá)90%,word2vec應(yīng)用(三),給廣告主推薦用戶T媒體網(wǎng)站用戶瀏覽網(wǎng)頁的記錄p

12、ageH是匹克體育用品公司在T上的官網(wǎng)page2,page3,page5和pageH是比較相似的頁面可給匹克體育用品公司推薦經(jīng)常瀏覽page2,3,5這個幾個頁面的用戶進(jìn)行廣告投放,word2vec應(yīng)用(三),相似的頁面計算過程,word2vec應(yīng)用(三)續(xù),對預(yù)估模型的幫助新廣告上線存在冷啟動問題通過比較相似的廣告的點(diǎn)擊率來預(yù)估這個廣告的點(diǎn)擊率由上個例子可得到每個頁面的向量,然后通過Kmeans進(jìn)行聚類,得到比較相似頁面的簇

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論