基于網(wǎng)絡(luò)文本的多詞表達抽取方法研究.pdf

1、多詞表達(Multiword Expression，MWE)是自然語言中一類固定或半固定搭配的語言單元，特別在網(wǎng)絡(luò)文本中，多詞表達頻繁出現(xiàn)且往往缺乏標注信息，給分詞任務(wù)和后續(xù)文本理解帶來了巨大挑戰(zhàn)。與此同時，網(wǎng)絡(luò)文本的多詞表達抽取對于社交網(wǎng)絡(luò)的熱點追蹤和信息檢索等任務(wù)都有著至關(guān)重要的作用。目前，多詞表達的抽取方法研究已經(jīng)有了一定的成果，但仍然存在很大的改進空間，主要的問題有:目前面向網(wǎng)絡(luò)文本的多詞表達抽取研究還很少;采用純規(guī)則或純統(tǒng)計的

2、方法來抽取多詞表達的效果往往不好;多詞表達結(jié)構(gòu)中詞元關(guān)系的計算往往需要依賴人工制定的規(guī)則和模板，不適用于抽取包羅萬象的網(wǎng)絡(luò)文本中的多詞表達。因此，本文面向網(wǎng)絡(luò)文本的多詞表達抽取研究，探討如何結(jié)合規(guī)則和統(tǒng)計方法來抽取多詞表達，以及如何減少人工制定規(guī)則的依賴，實現(xiàn)多詞表達的自動抽取。
　　本文對網(wǎng)絡(luò)文本中漢語多詞表達的結(jié)構(gòu)特點和語言學特點進行了詳盡的分析和歸納，在此基礎(chǔ)上，設(shè)計了基于規(guī)則與統(tǒng)計相融合的多詞表達抽取方法，且根據(jù)多詞表達構(gòu)

3、成詞的詞性組合規(guī)律制定了正則表達式模板，并改進NC-value統(tǒng)計模型，將其與互信息(Mutual Information，MI)相結(jié)合（即MI/NC）來抽取多詞表達。經(jīng)過實驗測試，在1萬條微博語料上，基于規(guī)則與統(tǒng)計相融合的方法抽取多詞表達的F值達到85.85％，相比較于基線系統(tǒng)，性能有了很大的提升。
　　進一步，為了減少對人工規(guī)則的依賴及提升多詞表達抽取的準確率，本文提出了一種基于雙層策略的多詞表達抽取方法。第一層次，我們利用基

4、于左右熵聯(lián)合增強互信息的算法來實現(xiàn)多詞表達的初步抽取;第二層次，我們在第一層次獲得的多詞表達候選列表的基礎(chǔ)上，利用支持向量機(Support Vector Machine，SVM)分類器，構(gòu)建上下文和詞向量特征，進行多詞表達與非多詞表達的分類，實現(xiàn)多詞表達候選列表的進一步過濾。經(jīng)過實驗驗證，基于雙層策略方法抽取多詞表達的F值達到89.58％，相比較于基線系統(tǒng)和基于規(guī)則與統(tǒng)計相融合的抽取方法，性能有了進一步的提高。
　　綜上所述，本