基于XML的漢語語料標注問題研究.pdf

1、語料庫語言學是當代計算學語言學中經(jīng)驗主義方法論取得顯著成效從而在計算語言學領域占有一定的優(yōu)勢地位的新學科方向。語料庫不僅是自然語言處理領域的基礎性資源，并且由此產(chǎn)生很多不同于理性主義方法的理論和方法。因此語料庫建設和研究就成為計算語言學的奠基工作。實踐證明一個好的語料庫應該具有可重用性和可擴展性，而語料標注的標準化對于語料庫建設具有十分重要的意義。語料標注跨越語言學和計算機科學，需要對標注的內(nèi)容(即標注哪些信息)、目的(即為什么要標注)

2、、手段(即怎樣實現(xiàn)標注)等問題進行逐一的回答，而語料標注的標準化也需要在這些問題上有一個明確的答案之后才得以進行。但是目前中文語料標注的工作主要集中在標注內(nèi)容的研究上，更多地從語言學的角度研究漢語詞性標注和切分的問題，對于語料標注的手段問題特別是編碼格式的問題很少涉及，這樣也就達不到語料的標準化。 XML作為網(wǎng)絡間數(shù)據(jù)交換的標準語言在許多垂直行業(yè)特別是電子商務中得到了廣泛運用，同時目前在語料標注領域也出現(xiàn)了將XML作為標注的標記

3、語言的趨勢。 本文對漢語語料標注的問題進行了研究，主要包括： 1，比較了國內(nèi)外語料標注的理論研究和工程項目，指出了國內(nèi)語料標注研究的兩大不足，即對語料標注的編碼格式的關注程度不夠；對于標注更多集中在切分標注層次上，而沒有一個分層體系下的標注研究2，提出語料標注應該著眼于語料的相互交換，而不是語料的本地處理 3，基于上述的認識明確提出了標注語義和標注表示的區(qū)分，該劃分具有十分重要的意義，該劃分廓清了語料標注領域中的

4、認識誤區(qū)，將語料標注問題的研究分成兩個相對獨立的部分，從而可以相對獨立地發(fā)展關于標注語義和標注表示地研究。并將標注表示的問題歸結(jié)為一系列對標注表示的要求，這些要求需要有一個分層次的語料標注模型。 4，目前國內(nèi)還沒有出現(xiàn)關于語料標注抽象數(shù)據(jù)模型研究的資料，本文則給出了一個基于集合論和圖論的形式化描述分層語料標注模型(MCAMMultilevelCorpusAnnotationModel)，并且在定義該模型的同時將該抽象模型和具體的

5、語料標注過程進行了對應，分析了分層標注模型的優(yōu)點，并且給出了MCAM模型的XML表示，從而說明了該抽象模型現(xiàn)實的可行性。 5，最后則根據(jù)工作的實際，給出了一個MCAM模型下切分標注的XML規(guī)范表示，并編寫了程序?qū)崿F(xiàn)語料的內(nèi)部格式到XML格式之間轉(zhuǎn)化的程序6，本文的研究還包括對《語法信息詞典》的XML改造。在分析了語法信息詞典在形式上的諸多不足之后，給出了一個XML的規(guī)范，并根據(jù)該規(guī)范將詞典的部分轉(zhuǎn)換成了XML格式，轉(zhuǎn)換的過程沒有