專業(yè)領(lǐng)域可比語料的構(gòu)建與評(píng)價(jià)研究.pdf

1、雙語詞典、平行語料庫等多語言資源是解決跨語言障礙,進(jìn)行多語言信息處理與服務(wù)的基礎(chǔ)資源,同時(shí)這些資源在某些領(lǐng)域或語種內(nèi)也是稀缺資源,存在著獲取瓶頸問題。相比之下,可比語料不存在平行語料里譯文受原文限制的缺點(diǎn),容易獲取,并且從中提取的雙語詞對(duì)可用來擴(kuò)充雙語詞典,因此可比語料的構(gòu)建研究是一項(xiàng)很有意義的研究工作。一方面,可以豐富語料構(gòu)建的理論體系,另一方面,可以為多語言信息處理提供豐富并且可用的多語言語料資源?，F(xiàn)有的可比語料庫構(gòu)建主要針對(duì)新聞等

2、通用領(lǐng)域,但實(shí)際應(yīng)用中有關(guān)專業(yè)領(lǐng)域可比語料的應(yīng)用需求也非常迫切;并且由于專業(yè)領(lǐng)域和通用領(lǐng)域的語料特點(diǎn)存在諸多不同,使得通用領(lǐng)域的可比語料構(gòu)建和評(píng)價(jià)方法及技術(shù)并不一定適用于專業(yè)領(lǐng)域的可比語料研究。基于此,本文對(duì)專業(yè)領(lǐng)域可比語料構(gòu)建及評(píng)價(jià)問題進(jìn)行研究,探索中英領(lǐng)域可比語料的采集方法,并以跨語言相似度為基礎(chǔ)引入主題維度進(jìn)行語料可比度度量研究,最后通過內(nèi)部評(píng)價(jià)和外部評(píng)價(jià)對(duì)可比語料的質(zhì)量進(jìn)行綜合評(píng)估。
　　 在中英領(lǐng)域可比語料的采集研究中

3、,本文分別以web搜索引擎、在線百科全書、中英文學(xué)術(shù)數(shù)據(jù)庫等三種不同類型的互聯(lián)網(wǎng)資源作為數(shù)據(jù)源,進(jìn)行專業(yè)領(lǐng)域可比語料庫的構(gòu)建,并對(duì)這些方法進(jìn)行比較分析。
　　 在語料可比度度量研究中,本文以詞語為單元,通過基于傳統(tǒng)統(tǒng)計(jì)的序列相似度(包括卡方統(tǒng)計(jì)、spearman系數(shù))、基于詞頻排序的序列相似度、基于術(shù)語度排序的序列相似度等三種不同方法在不同類型語料(平行語料、可比語料、非可比語料等)進(jìn)行實(shí)驗(yàn),對(duì)語料整體進(jìn)行可比度度量。結(jié)果表明:

4、基于術(shù)語度排序的方法性能最好,其次是基于詞頻的方法,基于傳統(tǒng)統(tǒng)計(jì)的方法性能最差。
　　 此外,關(guān)于可比語料研究大多采用單一指標(biāo),尚未形成較完善統(tǒng)一的評(píng)價(jià)體系,需要對(duì)可比語料的評(píng)價(jià)進(jìn)行深入研究。鑒于此,本文從內(nèi)部評(píng)價(jià)和外部評(píng)價(jià)兩方面對(duì)語料進(jìn)行綜合評(píng)估。內(nèi)部評(píng)價(jià)中以語料詞語總體特征、子語料相似性等為基礎(chǔ)進(jìn)行語料內(nèi)部一致性的評(píng)估;外部評(píng)價(jià)中通過雙語術(shù)語抽取任務(wù)間接評(píng)價(jià)語料質(zhì)量。在不同可比程度的語料(包括平行語料、可比語料、非可比語料)