藏語語料庫構(gòu)建與加工技術(shù)研究.pdf

1、語料庫是為多種應(yīng)用專門收集,有一定結(jié)構(gòu)、代表性、可被計(jì)算機(jī)檢索且具有一定規(guī)模的語料集合。在對語言的構(gòu)成、本質(zhì)、結(jié)構(gòu)和功能等進(jìn)行研究時,基于統(tǒng)計(jì)的語言研究方法,可以在最大程度上彌補(bǔ)傳統(tǒng)的基于經(jīng)驗(yàn)規(guī)則的方法所存在的不足。尤其隨著計(jì)算機(jī)儲存能力和運(yùn)行速度的增長,基于語料庫的統(tǒng)計(jì)方法已經(jīng)逐漸成為語言研究的主導(dǎo)方法。
　　藏語言文字是一種詞匯豐富、語法結(jié)構(gòu)嚴(yán)明的少數(shù)民族文字,并且在西藏自治區(qū)及青海、甘肅、四川、云南等地區(qū)廣泛使用,是傳播藏民

2、族思想文化的主要載體。為了適應(yīng)以計(jì)算機(jī)和網(wǎng)絡(luò)為主體的信息化世界,推動藏文信息處理的進(jìn)程,以及深刻的保護(hù)與挖掘潛藏在藏語資料中的人文財(cái)富,建立藏語語料庫就成了一個特別重要的課題。一般而言,建設(shè)完成的語料庫系統(tǒng)是由計(jì)算機(jī)硬件、軟件、語料庫用戶、采集的語料樣本、語料庫管理和應(yīng)用等程序構(gòu)成的一個完整系統(tǒng),其各部分一起決定語料庫的質(zhì)量和應(yīng)用價值。
　　本文主要借鑒國家語委現(xiàn)代漢語通用語料庫的建庫方法、陳玉忠等人提出的基于格助詞和接續(xù)特征(B

3、asedonCase-auxiliarywordandContinuousFeature,BCCF)的書面藏文自動分詞方法等已有的研究成果,并全面了解語料庫構(gòu)建的一般性理論以及語料庫設(shè)計(jì)的一般性方法的基礎(chǔ)上,提供構(gòu)建藏文語料庫的方法,設(shè)計(jì)一個藏語語料庫系統(tǒng)軟件,收集一定數(shù)量的藏文音節(jié)添加到藏文語料庫中,并對語料樣本利用本文設(shè)計(jì)的自動分詞方法進(jìn)行分詞加工,并進(jìn)行部分的藏文屬性統(tǒng)計(jì),來證明藏語語料庫構(gòu)建方法的正確性和構(gòu)建軟件的可利用性。

4、r>　　本文的研究成果主要包括以下幾點(diǎn):
　　1、研究了藏語語料庫的構(gòu)建理論,包括語料樣本的選材原則、方法、選取途徑、平衡性、分類方法以及類別號的設(shè)計(jì)方法等等,為構(gòu)建藏語語料庫系統(tǒng)奠定了理論基礎(chǔ)。
　　2、研究藏語語料庫的分詞加工技術(shù),實(shí)現(xiàn)了藏文分詞算法,并用改進(jìn)的還原算法識別了緊縮詞問題,提出了適合藏文文法特點(diǎn)的歧義消歧方法及未登錄詞識別方法。在分詞算法測試中,本文提出的分詞算法準(zhǔn)確率達(dá)到95.6％,基本上具有實(shí)用性。并利

5、用傳統(tǒng)藏文文法信息,結(jié)合現(xiàn)代藏文文本的實(shí)際,提出了藏文文本音節(jié)字詞屬性統(tǒng)計(jì)方法。
　　3、設(shè)計(jì)并實(shí)現(xiàn)了藏語語料庫系統(tǒng)軟件,本系統(tǒng)主要由語料錄入、編輯(添加、刪除等)、自動加工(對語料樣本進(jìn)行分詞標(biāo)注)及用戶服務(wù)(對語料樣本的字符、音節(jié)和詞語進(jìn)行統(tǒng)計(jì))功能模塊組成。語料錄入模塊實(shí)現(xiàn)了計(jì)算機(jī)中錄入存儲語料的數(shù)據(jù)信息及樣本內(nèi)容的功能;編輯模塊實(shí)現(xiàn)了語料的存儲和刪除等功能;自動加工模塊實(shí)現(xiàn)了對語料樣本內(nèi)容的分詞標(biāo)注加工功能;用戶服務(wù)模塊實(shí)