漢語語料庫的切分標注處理和專名識別.pdf

1、當今信息處理中占絕大比例的是語言文字的處理，與傳統(tǒng)的理性主義方式相輔的是經(jīng)驗主義方法，其中大規(guī)模真實文本語料庫加工因具有實用性強、見效快的特點，普遍受人歡迎。 語料庫語言學是80年代才嶄露頭角的一門計算語言學的新的分支學科，它的應用領域極廣，包括文本分類、檢索、自動摘要、信息獲取、簡單的機器翻譯和基于實例的對話系統(tǒng)。語料庫語言學研究的基礎是機器可讀的大容量語料庫，由于原始的未經(jīng)加工處理的文本(生語料)很少直接起作用，需要先對其進

2、行分析處理才能運用于實踐。 漢語不同于印歐語種，缺乏天然的分割信息，要進行漢語的計算機處理，必須首先將漢語的詞與詞分開，即分詞(也稱切分)，切分是中文語料處理的第一步；為詞語標上其所屬的詞類就是詞性標注，是語料進一步加工的必須過程。由于多年來漢語語料切分標準缺乏一個全國統(tǒng)一的詳盡的加工標準，各家研究機構由于研究目的等不同，加工的語料不能兼容，造成了資源的重復建設和浪費；同時，切分中的排岐和未登錄詞特別是專有名詞的識別一直困擾著切

3、分標注，成為語料加工的瓶頸，甚至可以說也成為整個中文信息處理平臺的瓶頸。本文主要著重解決這兩個問題。 本文設計并基本實現(xiàn)了一個具有專名識別功能的多輸出的漢語切分標注系統(tǒng)，同時考慮了系統(tǒng)的效率和可擴充性等實用方面的問題。 為了能使加工的語料既符合國家制定的加工規(guī)范，又能適應不同應用的實際需求，本文提出了一個規(guī)范獨立的加工模型。在基本的分詞和標注模塊之后，有一個單獨的規(guī)范規(guī)則處理模塊，系統(tǒng)的分詞和標注模塊可同切分標注的相關規(guī)

4、范無關，一旦規(guī)范修改，只需替換切分標注規(guī)范規(guī)則文件即可。同時，本系統(tǒng)在加工中對每個詞都加上了信息，個性化輸出模塊可以根據(jù)這些信息按需輸出不同顆粒度大小的加工結(jié)果。 在切分和標注模塊，系統(tǒng)改進了前綴碼分詞算法，采用了結(jié)合前綴詞表的首尾二字哈希查找算法來提高效率，同時，針對單獨使用規(guī)則或概率方法消歧的不足，將兩種方法有機的結(jié)合起來進行歧義消減。 在專名識別方面，在參考國內(nèi)各家方法的基礎上，系統(tǒng)設計了自己的人名識別和地名識別的