中英可比較語(yǔ)料庫(kù)的構(gòu)建.pdf

1、可比較語(yǔ)料庫(kù)是自然語(yǔ)言處理領(lǐng)域中非常有價(jià)值的資源，但是，目前并沒有足夠規(guī)模的可利用的公共可比較語(yǔ)料庫(kù)，構(gòu)建大規(guī)模中英文可比較語(yǔ)料庫(kù)有理論價(jià)值和應(yīng)用價(jià)值。本文提出了一種雙向的基于跨語(yǔ)言信息檢索技術(shù)的方法來構(gòu)建大規(guī)模中英可比較語(yǔ)料庫(kù)。首先，利用開源的網(wǎng)頁(yè)爬蟲工具從新華網(wǎng)上爬取原始的中文文檔集合和英文文檔集合，并將所有的文檔進(jìn)行統(tǒng)一的格式化處理;然后，分別提取中英文檔的詞匯來代表當(dāng)前文檔，并將中文文檔的詞匯翻譯成英文，構(gòu)成英文檢索語(yǔ)句，將英文

2、詞匯翻譯成中文，構(gòu)成中文檢索語(yǔ)句;最后，利用英文檢索語(yǔ)句到英文文檔集合中檢索候選英文文檔，利用中文檢索語(yǔ)句到中文文檔集合中檢索候選中文文檔，并通過中英文檔對(duì)的發(fā)表日期和相似度進(jìn)行過濾。實(shí)驗(yàn)結(jié)果表明，本文的方法明顯優(yōu)于之前的中英可比較語(yǔ)料庫(kù)構(gòu)建方法。
　　本研究主要內(nèi)容包括：⑴在中文文檔詞匯抽取方面，采用了單詞和多詞相結(jié)合的方法。在預(yù)處理階段，針對(duì)分詞結(jié)果中存在的問題，對(duì)分詞結(jié)果進(jìn)行修正。在單詞的抽取方面，有效結(jié)合了中文表達(dá)習(xí)慣上的

3、特點(diǎn);在多詞提取方面，有效結(jié)合新聞文本本身的特點(diǎn);最后，通過去重方法等有效結(jié)合了兩者。⑵在文檔對(duì)齊方面，考慮到真實(shí)文本中，一篇源文檔所對(duì)應(yīng)的目標(biāo)文檔數(shù)目是不確定的，本文只取前N篇目標(biāo)文檔作為候選集，設(shè)置相似度閾值對(duì)候選集進(jìn)行過濾。⑶提出了雙向構(gòu)造法，分別將兩種語(yǔ)言的文檔集合作為源語(yǔ)言集合，另一種語(yǔ)言的文檔集合作為目標(biāo)語(yǔ)言集合，即從中文到英文、從英文到中文兩個(gè)方向上構(gòu)建可比較語(yǔ)料庫(kù)。實(shí)驗(yàn)結(jié)果也表明，從兩個(gè)方向上構(gòu)造中英可比較語(yǔ)料庫(kù)明顯優(yōu)于