現(xiàn)代漢語重疊式的識別及統(tǒng)計分析.pdf

1、現(xiàn)代漢語形態(tài)缺乏，但重疊式還是比較豐富的。根據(jù)大規(guī)模語料調(diào)查顯示，重疊式的能產(chǎn)性和派生性極強，利用重疊形式創(chuàng)造出的重疊新詞數(shù)量在現(xiàn)代漢語中的比例仍然呈上升趨勢，因此對重疊式的研究不能僅僅局限于語言理論的層面。本文將研究的著力點放在了語料庫中的重疊式，進行了重疊式的抽取、切分不一致的比較、重疊式識別和統(tǒng)計等一系列研究。
　　本文首先對重疊式進行了較為系統(tǒng)的考察，包括與重疊式相關(guān)的幾個概念的辨析，漢語詞典和三大詞表中重疊式的分布等情況

2、，為下文識別和分析重疊式打下理論基礎(chǔ)。通過對《現(xiàn)代漢語詞典》及詞表進行統(tǒng)計分析，從中發(fā)現(xiàn)一些語言學現(xiàn)象，并對《現(xiàn)漢》中重疊式的收錄問題進行了初步探討，提出了一些改進的意見。
　　其次本文對重疊式的切分錯誤統(tǒng)計及分析，該部分研究的對象有兩個，一個是現(xiàn)有的分詞語料庫，另一個是成熟的分詞軟件。分別對它們的重疊式切分錯誤進行統(tǒng)計，并試圖分析其切分錯誤的原因。文中以翔實的數(shù)據(jù)說明，重疊式切分上，流行的分詞軟件在錯誤率高達8％至48％，經(jīng)人工

3、校對后的分詞語料庫錯誤率也達到1％至11％(均依重疊類型和語料類型而有不同)。
　　本文通過引入正則表達式和CRF統(tǒng)計模型進行重疊式的識別研究。重疊式的識別工作主要有三個步驟，一是利用正則表達式提取重疊式的候選，二是利用詞表過濾輔以人工校對的方法對重疊式候選進行篩選，三是利用CRF模型對重疊式的所屬類型進行判定。識別結(jié)果表明，利用CRF對各種重疊式的判定正確率都能達到95％左右，是一個相當不錯的結(jié)果。
　　文章最后利用前文研