基于XML的漢語(yǔ)語(yǔ)料標(biāo)注問(wèn)題研究.pdf

1、語(yǔ)料庫(kù)語(yǔ)言學(xué)是當(dāng)代計(jì)算學(xué)語(yǔ)言學(xué)中經(jīng)驗(yàn)主義方法論取得顯著成效從而在計(jì)算語(yǔ)言學(xué)領(lǐng)域占有一定的優(yōu)勢(shì)地位的新學(xué)科方向。語(yǔ)料庫(kù)不僅是自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)性資源，并且由此產(chǎn)生很多不同于理性主義方法的理論和方法。因此語(yǔ)料庫(kù)建設(shè)和研究就成為計(jì)算語(yǔ)言學(xué)的奠基工作。實(shí)踐證明一個(gè)好的語(yǔ)料庫(kù)應(yīng)該具有可重用性和可擴(kuò)展性，而語(yǔ)料標(biāo)注的標(biāo)準(zhǔn)化對(duì)于語(yǔ)料庫(kù)建設(shè)具有十分重要的意義。語(yǔ)料標(biāo)注跨越語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)，需要對(duì)標(biāo)注的內(nèi)容(即標(biāo)注哪些信息)、目的(即為什么要標(biāo)注)

2、、手段(即怎樣實(shí)現(xiàn)標(biāo)注)等問(wèn)題進(jìn)行逐一的回答，而語(yǔ)料標(biāo)注的標(biāo)準(zhǔn)化也需要在這些問(wèn)題上有一個(gè)明確的答案之后才得以進(jìn)行。但是目前中文語(yǔ)料標(biāo)注的工作主要集中在標(biāo)注內(nèi)容的研究上，更多地從語(yǔ)言學(xué)的角度研究漢語(yǔ)詞性標(biāo)注和切分的問(wèn)題，對(duì)于語(yǔ)料標(biāo)注的手段問(wèn)題特別是編碼格式的問(wèn)題很少涉及，這樣也就達(dá)不到語(yǔ)料的標(biāo)準(zhǔn)化。 XML作為網(wǎng)絡(luò)間數(shù)據(jù)交換的標(biāo)準(zhǔn)語(yǔ)言在許多垂直行業(yè)特別是電子商務(wù)中得到了廣泛運(yùn)用，同時(shí)目前在語(yǔ)料標(biāo)注領(lǐng)域也出現(xiàn)了將XML作為標(biāo)注的標(biāo)記

3、語(yǔ)言的趨勢(shì)。 本文對(duì)漢語(yǔ)語(yǔ)料標(biāo)注的問(wèn)題進(jìn)行了研究，主要包括： 1，比較了國(guó)內(nèi)外語(yǔ)料標(biāo)注的理論研究和工程項(xiàng)目，指出了國(guó)內(nèi)語(yǔ)料標(biāo)注研究的兩大不足，即對(duì)語(yǔ)料標(biāo)注的編碼格式的關(guān)注程度不夠；對(duì)于標(biāo)注更多集中在切分標(biāo)注層次上，而沒(méi)有一個(gè)分層體系下的標(biāo)注研究2，提出語(yǔ)料標(biāo)注應(yīng)該著眼于語(yǔ)料的相互交換，而不是語(yǔ)料的本地處理 3，基于上述的認(rèn)識(shí)明確提出了標(biāo)注語(yǔ)義和標(biāo)注表示的區(qū)分，該劃分具有十分重要的意義，該劃分廓清了語(yǔ)料標(biāo)注領(lǐng)域中的

4、認(rèn)識(shí)誤區(qū)，將語(yǔ)料標(biāo)注問(wèn)題的研究分成兩個(gè)相對(duì)獨(dú)立的部分，從而可以相對(duì)獨(dú)立地發(fā)展關(guān)于標(biāo)注語(yǔ)義和標(biāo)注表示地研究。并將標(biāo)注表示的問(wèn)題歸結(jié)為一系列對(duì)標(biāo)注表示的要求，這些要求需要有一個(gè)分層次的語(yǔ)料標(biāo)注模型。 4，目前國(guó)內(nèi)還沒(méi)有出現(xiàn)關(guān)于語(yǔ)料標(biāo)注抽象數(shù)據(jù)模型研究的資料，本文則給出了一個(gè)基于集合論和圖論的形式化描述分層語(yǔ)料標(biāo)注模型(MCAMMultilevelCorpusAnnotationModel)，并且在定義該模型的同時(shí)將該抽象模型和具體的

5、語(yǔ)料標(biāo)注過(guò)程進(jìn)行了對(duì)應(yīng)，分析了分層標(biāo)注模型的優(yōu)點(diǎn)，并且給出了MCAM模型的XML表示，從而說(shuō)明了該抽象模型現(xiàn)實(shí)的可行性。 5，最后則根據(jù)工作的實(shí)際，給出了一個(gè)MCAM模型下切分標(biāo)注的XML規(guī)范表示，并編寫了程序?qū)崿F(xiàn)語(yǔ)料的內(nèi)部格式到XML格式之間轉(zhuǎn)化的程序6，本文的研究還包括對(duì)《語(yǔ)法信息詞典》的XML改造。在分析了語(yǔ)法信息詞典在形式上的諸多不足之后，給出了一個(gè)XML的規(guī)范，并根據(jù)該規(guī)范將詞典的部分轉(zhuǎn)換成了XML格式，轉(zhuǎn)換的過(guò)程沒(méi)有