基于潛在語(yǔ)義對(duì)偶空間的跨語(yǔ)言文本分類研究.pdf

1、據(jù)統(tǒng)計(jì)，互聯(lián)網(wǎng)上在線發(fā)布的網(wǎng)頁(yè)早已達(dá)到億數(shù)量級(jí)，并以每天百萬(wàn)頁(yè)的速度在增長(zhǎng)。用戶在需要克服語(yǔ)言障礙的同時(shí)，如何準(zhǔn)確地在Internet這樣一個(gè)開(kāi)放式的數(shù)據(jù)庫(kù)中找到相關(guān)信息，變得越來(lái)越困難。因此，利用計(jì)算機(jī)對(duì)大量的多語(yǔ)言文本信息進(jìn)行自動(dòng)分類和檢索已經(jīng)變得尤為的重要。
　　 在大規(guī)模文本處理中，分類主要用于文本的組織，尤其對(duì)于海量的文本信息資源。利用分類將相關(guān)的文本組織在一起，便于文本處理和發(fā)現(xiàn)新穎有效的知識(shí)模式?，F(xiàn)如今網(wǎng)絡(luò)上各種語(yǔ)

2、言的網(wǎng)頁(yè)資源都非常豐富，跨語(yǔ)言的文本分類的出現(xiàn)使得人們可以更好的共享因特網(wǎng)上的多語(yǔ)言的信息資源。
　　 隨著網(wǎng)絡(luò)資源多語(yǔ)化趨勢(shì)的加快，跨語(yǔ)言文本分類技術(shù)得到不斷的發(fā)展。目前，跨語(yǔ)言研究主要有基于文獻(xiàn)翻譯、基于雙語(yǔ)辭典和基于語(yǔ)料庫(kù)等方法。
　　 文獻(xiàn)翻譯的方法所需處理時(shí)間長(zhǎng)，計(jì)算量較大，加重了計(jì)算負(fù)荷和時(shí)間花銷。另外，機(jī)器翻譯的水平仍然較低，正確率還有待于提高，不能令人滿意。目前大多數(shù)研究都是基于雙語(yǔ)辭典和譯詞選擇方法[2

3、]。而基于語(yǔ)料庫(kù)的方法是從大規(guī)模語(yǔ)料庫(kù)入手，從中抽取需要的信息，自動(dòng)構(gòu)建與應(yīng)用相關(guān)的翻譯技術(shù)[3]，這樣就能解決翻譯歧義、辭典覆蓋度不夠的問(wèn)題。所以基于語(yǔ)料庫(kù)的潛在語(yǔ)義標(biāo)引方法引入到了跨語(yǔ)言分類中。結(jié)果有較大提高，但需構(gòu)造跨語(yǔ)言的詞間相似度矩陣，算法的空間和時(shí)間復(fù)雜度較大。
　　 本文采用基于語(yǔ)料庫(kù)的方法，應(yīng)用統(tǒng)計(jì)學(xué)相關(guān)理論，研究基于潛在語(yǔ)義對(duì)偶空間的跨語(yǔ)言文本分類模型。運(yùn)用偏最小二乘方法對(duì)文檔的特征矩陣提取潛在語(yǔ)義對(duì)，由此構(gòu)建