基于詞語搭配知識(shí)和語法功能匹配的句法分析器.pdf

1、句法分析技術(shù)是信息處理領(lǐng)域的核心技術(shù)之一，也是難點(diǎn)所在。本文認(rèn)為，詞語搭配和句法結(jié)構(gòu)之間有著密切的聯(lián)系，將詞語搭配知識(shí)加入到句法分析過程中有助于句法分析精度的提高。本文以詞語搭配庫和句法分析器互建的思想為指導(dǎo)，在研究中引入了哈工大、伯克利、斯坦福三所大學(xué)研制的句法分析器;在對(duì)比三個(gè)句法分析器分析結(jié)果的基礎(chǔ)上，分別提出了兩種大規(guī)模詞語搭配的自動(dòng)獲取方法。第一種方法基于依存關(guān)系的句法分析，比對(duì)句法分析結(jié)果中的相同詞對(duì);第二種方法基于短語關(guān)系

2、的句法分析，比對(duì)句法分析結(jié)果中的相同層次。實(shí)驗(yàn)表明，詞語搭配的兩種自動(dòng)獲取方法都能夠有效的獲取大規(guī)模詞語搭配，其中基于短語關(guān)系的獲取方法可以從14年新華社語料中獲取得到約500萬詞語搭配型，抽樣搭配精度約84％。
　　 使用自動(dòng)獲取得到的詞語搭配資源，本文選取了四個(gè)搭配篩選條件用于詞語搭配的優(yōu)選，在搭配精度和搭配規(guī)模之間找到一個(gè)最佳的組合優(yōu)選方式，并以此構(gòu)建了一個(gè)包含十四個(gè)數(shù)據(jù)項(xiàng)的、百萬搭配型數(shù)量的詞語搭配知識(shí)庫，知識(shí)庫的抽樣搭

3、配精度超過90％。通過對(duì)知識(shí)庫中的十四個(gè)數(shù)據(jù)項(xiàng)分別進(jìn)行個(gè)體分析和關(guān)聯(lián)分析，進(jìn)一步挖掘了搭配類型、搭配次數(shù)、搭配距離等搭配相關(guān)屬性之間的內(nèi)在規(guī)律和聯(lián)系。
　　 在建設(shè)完善了大規(guī)模、高質(zhì)量的詞語搭配資源之后，本文將詞語搭配知識(shí)添加進(jìn)基于語法功能匹配的句法分析算法，構(gòu)建了一個(gè)基于詞語搭配知識(shí)和語法功能匹配的句法分析器(CGFM)。使用新華社新聞?wù)Z料作為開放測試語料，在單句法分析器的個(gè)體性能評(píng)測中，CGFM分析器開放測試的句法分析F值約