藏文信息處理中若干關(guān)鍵技術(shù)研究.pdf

1、隨著藏文信息技術(shù)的發(fā)展和進(jìn)步，藏文字處理技術(shù)已經(jīng)日趨成熟。其中UNICODE藏文編碼國際標(biāo)準(zhǔn)的公布和OPENTYPE技術(shù)在藏文字體設(shè)計(jì)上的成功應(yīng)用，使得長期存在的編碼不統(tǒng)一的問題得到了有效解決，極大地促進(jìn)了藏文信息處理技術(shù)的進(jìn)一步發(fā)展。隨著藏文字處理技術(shù)的成熟和互聯(lián)網(wǎng)在廣大藏區(qū)的普及和推廣，各種藏文電子資源如雨后春筍般涌現(xiàn)在互聯(lián)網(wǎng)上，這些電子資源為藏文信息處理技術(shù)的發(fā)展奠定了數(shù)據(jù)基礎(chǔ)。因此現(xiàn)在越來越多的研究人員開始投入到藏文詞處理、短語

2、處理和句法處理技術(shù)中，并傾向于使用機(jī)器學(xué)習(xí)方法來處理藏文自然語言的各種任務(wù)。由于各種因素的制約，藏文信息處理技術(shù)還不能達(dá)到英語、漢語等大語種的處理水平，還存在許多有待進(jìn)一步解決的問題。本文針對藏文信息處理技術(shù)中現(xiàn)階段需要亟待解決的幾個重要問題進(jìn)行了討論和研究，并提出了相應(yīng)的解決方案和算法。具體內(nèi)容包括:
　　1、針對文本質(zhì)量問題，研究了藏文音節(jié)拼寫檢查算法和藏文文本自動校對方法。(1)針對藏文音節(jié)拼寫錯誤問題，分析了藏文拼寫錯誤類

3、型，研究了藏文字性組織法，建立了藏文音節(jié)規(guī)則模型，提出了藏文音節(jié)識別算法和藏文音節(jié)拼寫檢查算法;(2)針對藏文文本中存在的梵音轉(zhuǎn)寫藏文錯誤、接續(xù)關(guān)系錯誤、詞語錯誤、語法錯誤等問題，研究了藏文自動校對方法，設(shè)計(jì)了藏文自動校對系統(tǒng)框架，提出了藏文音節(jié)檢查方法、梵音轉(zhuǎn)寫藏文檢查方法和詞語檢查方法，并提出了藏文接續(xù)關(guān)系檢查算法。
　　2、針對藏文文本中停用詞的預(yù)處理問題，研究了詞頻統(tǒng)計(jì)、文檔頻數(shù)、熵計(jì)算方法的藏文停用詞自動選取方法，提出了

4、藏文虛詞、特殊動詞和自動處理相結(jié)合的藏文停用詞選取方法，該方法可確定一個較合理的藏文停用詞表，同時發(fā)現(xiàn)藏文詞分布也滿足Zipf定律，并分析了藏文虛詞、特殊動詞以及高頻詞區(qū)的分布情況。
　　3、針對藏文文本中命名實(shí)體識別問題，研究了觸發(fā)詞、虛詞、人名詞典和指人名詞后綴為特征的條件隨機(jī)場（CRF）的藏文人名識別技術(shù)，提出了基于字（音節(jié)）和字位信息的人名識別方法，分析了不同特征組合與特征優(yōu)化、細(xì)化不同虛詞對人名識別的作用。還提出了一個基