中古漢語語料庫分詞不一致問題研究.pdf

1、在語言文字研究領(lǐng)域，基于大規(guī)模真實文本的語料庫發(fā)揮著越來越大的作用，建設(shè)大規(guī)模高質(zhì)量語料庫某種程度上是語言文字研究的基礎(chǔ)性工作。然而由于現(xiàn)階段語料庫在構(gòu)建過程中分詞標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一甚至缺乏，再加上人工分詞、標(biāo)注、校驗時難免疏忽，導(dǎo)致同一字段在相同、相似語境中切分結(jié)果不一致。這種現(xiàn)象在中古漢語語料建設(shè)中更為突出，它不僅影響了語料庫分詞的正確率，還將錯誤帶到了語料進一步加工、使用的環(huán)節(jié)。因此，應(yīng)將分詞一致性作為衡量語料庫質(zhì)量的重要標(biāo)準(zhǔn)之一。<

2、br>　　本文首先對深加工中古漢語語料庫作了簡單地介紹，然后具體針對中古漢語語料庫中存在的分詞一致性問題，通過程序統(tǒng)計出其中的分詞不一致字段，從語言學(xué)角度對其進行分類研究，并制定分詞標(biāo)準(zhǔn)，通過多種特征相結(jié)合的方法，來提高分詞結(jié)果的準(zhǔn)確率及一致性。該方法通過統(tǒng)計中古語料庫不一致字段，結(jié)合其語境，找出中古漢語分詞不一致產(chǎn)生的特殊原因，并針對這些字段制定具體的分詞規(guī)范，然后用人工校對的方法逐一解決實驗語料中的分詞不一致問題?；贑RF分詞軟件

3、，引入多種分詞特征，尤其是詞典標(biāo)記，實現(xiàn)多種特征相結(jié)合的分詞方法分別進行對比實驗，最終選定最有利的分詞特征及模板。實驗取得預(yù)期目標(biāo)，封閉測試準(zhǔn)確率達99％以上，開放測試準(zhǔn)確率也均超過了90％，證明基于中古特定分詞規(guī)范、統(tǒng)計與詞典相結(jié)構(gòu)的方法可以更好地解決分詞不一致問題，有效提高分詞準(zhǔn)確率。主要工作如下:
　　1.抽取中古漢語語料庫中28萬余人工分詞語料，運用程序初步統(tǒng)計出其中可能存在分詞不一致的字段，在人工校對的基礎(chǔ)上，對這些字段

4、進行分類，找出真正分詞不一致（個例不一致）的組合及其語境信息，確定本文研究對象。
　　2.從語言學(xué)角度分析中古漢語分詞不一致出現(xiàn)的獨有原因，然后從結(jié)構(gòu)角度對分詞不一致組合進行分類，揭示特定結(jié)構(gòu)出現(xiàn)分詞不一致的狀況及原因，基于此建立中古漢語分詞規(guī)范。
　　3.依據(jù)規(guī)范整理28萬余人工分詞語料作為CRF訓(xùn)練語料，來解決語料中存在的個例不一致問題，提高分詞準(zhǔn)確率。在CRF分詞軟件中引入字符類型、聲韻調(diào)、部首、詞典詞標(biāo)這四種特征，通

5、過實驗對比這幾個特征對分詞結(jié)果影響的權(quán)重;制定不同的分詞模板，在實驗統(tǒng)計的基礎(chǔ)上選擇分詞結(jié)果最好的模板，從而確定CRF分詞特征及模板。
　　4.基于整理好的訓(xùn)練語料、實驗效果最好的分詞特征及模板進行CRF對比實驗，實驗結(jié)果達到預(yù)期目標(biāo)，開放測試、封閉測試的準(zhǔn)確率分別超過了99％和90％，并進一步分析實驗結(jié)果。
　　在統(tǒng)計分析數(shù)據(jù)的基礎(chǔ)上，本文詳盡研究了中古漢語分詞不一致字串，針對該字串制定了分詞規(guī)范，并提出了基于多特征的CR