基于LSTM的漢語語義角色標注研究.pdf

1、隨著計算機網(wǎng)絡技術(shù)和通信技術(shù)的迅速發(fā)展和普及，自然語言處理技術(shù)的應用需求急劇增加，人們迫切需要實用的自然語言處理技術(shù)來幫助打破語言屏障，為人際之間、人機之間的信息交流提供便捷、有效的人性化服務。中文信息處理作為自然語言處理中的一個分支，近些年來得到了快速發(fā)展，無論是在基礎理論研究方面，還是在技術(shù)開發(fā)和產(chǎn)業(yè)化發(fā)展方面都取得了顯著成績。
　　語義角色標注是淺層語義分析的一種實現(xiàn)方式，近幾年頗受研究人員的關注。深度學習是一種讓計算機自動

2、進行特征學習的技術(shù)，隨著該技術(shù)在圖像識別、語音識別等領域取得了巨大成功，研究人員逐漸開始將這一技術(shù)應用在自然語言處理領域，成為目前該領域的一大研究熱點。在當前多個深度學習模型中，基于長短期記憶單元（Long Short-term memory，LSTM）的遞歸神經(jīng)網(wǎng)絡（recurrent neural network，RNN）模型因為能有效利用序列數(shù)據(jù)中長距離的依賴信息，被認為特別適合文本序列數(shù)據(jù)的處理。因此，本文提出一種基于LSTM的

3、漢語語義角色標注模型，該方法避免了復雜的特征提取和選擇工作，擺脫了語義角色標注對句法分析的依賴，其最好標注結(jié)果的F值為70.34％。本文的主要工作如下：
　?。?）確定了實驗所用的語料和標記集：在中文賓州樹庫（Chinese Proposition Bank，CPB）標注語料的基礎上，確定了本文使用的19類語義角色。結(jié)合模型特點，選擇使用IOBES序列標注規(guī)則，并由此形成77個標簽。實驗采用OntoNote5.0包含的文件chtb

4、_0001.onf–chtb_0399.onf按3:1的比例分別為訓練和測試語料。
　　（2）構(gòu)建并訓練了基于LSTM的語義角色標注模型：本文以詞為基本標注單元，利用Word2Vec訓練得到的詞向量為輸入，以LSTM標準單元為神經(jīng)元構(gòu)建網(wǎng)絡層用于學習語義角色相關特征表達，并將得到的特征向量經(jīng)過 softmax函數(shù)計算和后處理后得到詞對應的語義角色標簽。采用反向傳播算法進行模型訓練，并對模型各參數(shù)進行實驗分析。
　　（3）采用

5、LSTM模型訓練得到詞性向量并與詞向量結(jié)合進行語義角色標注：首先構(gòu)建LSTM網(wǎng)絡層用于學習得到詞性向量的表達，再將得到的詞性向量與詞向量結(jié)合，構(gòu)建并訓練LSTM網(wǎng)絡層得到每個詞相應的語義角色標簽，最后對模型各參數(shù)進行實驗，將其結(jié)果與前述模型進行對比分析。
　　實驗表明，詞性信息有助于語義角色的識別和分類，且該模型可以有效地進行自動語義角色標注。盡管本文所構(gòu)建的模型還不能與目前基于人工提取特征的最好結(jié)果相媲美，但已經(jīng)取得了良好的效果