漢語基本名詞短語識別與語法信息獲取的互動研究.pdf

1、漢語基本名詞短語自動識別作為中文信息處理的基本任務(wù)之一，在淺層句法分析、信息抽取和檢索、機(jī)器翻譯等自然語言處理領(lǐng)域都有十分重要的理論價(jià)值和廣闊應(yīng)用前景。在語言學(xué)本體研究中，漢語基本名詞短語作為包含著豐富的語法信息的載體，它區(qū)別于一般的漢語名詞短語，其構(gòu)成基本名詞短語的實(shí)詞搭配形式，如：“名詞+名詞”、“形容詞+名詞”、“動詞+名詞”、“名詞+動詞”、“數(shù)詞+量詞+名詞”等搭配組合都是語言學(xué)家們研究與關(guān)注的重點(diǎn)。以往的漢語基本名詞短語自動

2、識別研究只是在現(xiàn)有的人工標(biāo)注好的語料上進(jìn)行單一統(tǒng)計(jì)模型的自動識別實(shí)驗(yàn)，并沒有很好地利用統(tǒng)計(jì)模型進(jìn)行自動識別同時(shí)再融入語言學(xué)的相關(guān)信息來進(jìn)一步提高識別效果。
　　 本文的工作在約100萬詞次973清華中文樹庫的基礎(chǔ)上，對其中所包含的基本名詞短語進(jìn)行了詳細(xì)的統(tǒng)計(jì)和分析，具體考察了基本名詞短語的詞性序列分布信息、長度分布信息和音節(jié)組合模式分布信息，同時(shí)在參考黃昌寧先生在自動分詞領(lǐng)域提出的詞位能產(chǎn)度計(jì)算公式的基礎(chǔ)上，對組成基本名詞短語的

3、詞語的詞位信息進(jìn)行計(jì)算和分析，這些相關(guān)的統(tǒng)計(jì)考察工作為接下來利用統(tǒng)計(jì)模型識別基本名詞短語提供必要的數(shù)據(jù)支持和統(tǒng)計(jì)決策。
　　 在基本名詞短語識別中，我們采用一種基于統(tǒng)計(jì)詞位信息的多標(biāo)記多特征的基本名詞短識別方法，在確定詞位標(biāo)記時(shí)，我們不是簡單的采用當(dāng)前國際上通用的BIO語塊標(biāo)注體系，而是通過參考基本名詞短語的長度語法信息和詞位語法信息來確定具體的標(biāo)記數(shù)目，并且結(jié)合一些有效的特征信息進(jìn)一步提高識別結(jié)果。在識別結(jié)果評價(jià)方面，我們進(jìn)一

4、步規(guī)范了對于語塊識別的評價(jià)標(biāo)準(zhǔn)，提出了采用未登錄短語召回率(Unkonwn Phrase Recall)做為評價(jià)識別基本名詞短語統(tǒng)計(jì)模型的重要標(biāo)準(zhǔn)，并且對不同的統(tǒng)計(jì)模型進(jìn)行了相關(guān)的對比識別實(shí)驗(yàn)。
　　 在互動識別實(shí)驗(yàn)中，我們采用基于詞位信息校正的多分類器識別方法，主要思想是先計(jì)算出訓(xùn)練語料中組成基本名詞短語的詞語的詞位能產(chǎn)度統(tǒng)計(jì)量，再利用這些統(tǒng)計(jì)量對不同統(tǒng)計(jì)模型分類器的不同分類結(jié)果進(jìn)行校正。從實(shí)驗(yàn)結(jié)果上看，本文所使用的基于詞位信