面向中文維基百科模糊限制信息檢測(cè)的語(yǔ)料庫(kù)建設(shè)與研究.pdf

1、模糊限制語(yǔ)是重要的語(yǔ)言現(xiàn)象，用于表示推測(cè)或不確定性的含義。由模糊限制語(yǔ)引導(dǎo)的信息為模糊限制信息。模糊限制信息檢測(cè)是信息抽取的首要步驟，旨在將模糊限制信息與事實(shí)信息區(qū)分開(kāi)來(lái)，避免將模糊限制信息當(dāng)作事實(shí)信息進(jìn)行抽取。模糊限制信息語(yǔ)料庫(kù)是模糊限制信息檢測(cè)研究的重要資源。目前，已有多個(gè)公開(kāi)發(fā)表的英文模糊限制信息語(yǔ)料庫(kù)，有效地推動(dòng)了英文模糊限制信息檢測(cè)研究的發(fā)展。然而尚未發(fā)現(xiàn)公開(kāi)發(fā)表的中文模糊限制信息語(yǔ)料庫(kù)。本文利用中文維基百科(Wikipedi

2、a)的大規(guī)模真實(shí)文本資源，構(gòu)建了用于中文模糊限制信息檢測(cè)研究的語(yǔ)料庫(kù)。
　　本文首先進(jìn)行語(yǔ)料庫(kù)設(shè)計(jì)，然后按照設(shè)計(jì)要求構(gòu)建語(yǔ)料庫(kù)，并對(duì)語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)分析。語(yǔ)料庫(kù)設(shè)計(jì)根據(jù)中文維基百科文本的特點(diǎn)并參考同類(lèi)英文語(yǔ)料庫(kù)開(kāi)展，規(guī)劃了語(yǔ)料庫(kù)的平衡結(jié)構(gòu)和建設(shè)規(guī)模，對(duì)語(yǔ)料庫(kù)的采樣原則、邏輯結(jié)構(gòu)等進(jìn)行了具體設(shè)計(jì)。其中采樣原則上，利用中文維基百科文本的5種模棱兩可語(yǔ)意模板標(biāo)記采樣，以段落為取樣單位，確保有足夠具代表性的含模糊限制語(yǔ)的句子采集入庫(kù)。邏輯結(jié)

3、構(gòu)上，以XML格式對(duì)語(yǔ)料庫(kù)進(jìn)行組織，并定義了各類(lèi)XML元素以及元素的屬性。
　　為減少標(biāo)注的工作量，以基于詞典的最大匹配法對(duì)語(yǔ)料庫(kù)模糊限制語(yǔ)進(jìn)行了初始標(biāo)注:首先進(jìn)行了中文維基百科語(yǔ)料采集，并通過(guò)從模糊限制語(yǔ)相關(guān)文獻(xiàn)提取關(guān)鍵詞、利用同義詞詞典查找等方法構(gòu)建了模糊限制語(yǔ)關(guān)鍵詞詞典，然后根據(jù)中文模糊限制語(yǔ)的特點(diǎn)，利用逆向最大匹配法進(jìn)行自動(dòng)標(biāo)注。還通過(guò)分析標(biāo)注錯(cuò)誤的產(chǎn)生原因，提出了基于分詞的逆向最大匹配法，有效避免逆向最大匹配法標(biāo)注時(shí)出現(xiàn)

4、的組合型歧義錯(cuò)誤。
　　為完成語(yǔ)料標(biāo)注，本文對(duì)模糊限制語(yǔ)自動(dòng)標(biāo)注進(jìn)行人工校正，并對(duì)模糊限制信息范圍進(jìn)行人工標(biāo)注。本文提出了具體的標(biāo)注原則。在標(biāo)注模糊限制語(yǔ)時(shí)，遵循“最小原則”，即對(duì)能表示模糊限制性的最小單元進(jìn)行標(biāo)注;在標(biāo)注模糊限制信息范圍時(shí)，遵循“最大原則”，即標(biāo)注到最大可能的句法單元。語(yǔ)料庫(kù)的統(tǒng)計(jì)結(jié)果顯示，與逆向最大匹配法相比，基于分詞的逆向最大匹配法有效提高了標(biāo)注精確率，語(yǔ)料庫(kù)基本達(dá)到了平衡結(jié)構(gòu)的設(shè)計(jì)目標(biāo)。
　　本文的研