中英可比較語料庫的構(gòu)建.pdf

1、可比較語料庫是自然語言處理領(lǐng)域中非常有價值的資源，但是，目前并沒有足夠規(guī)模的可利用的公共可比較語料庫，構(gòu)建大規(guī)模中英文可比較語料庫有理論價值和應(yīng)用價值。本文提出了一種雙向的基于跨語言信息檢索技術(shù)的方法來構(gòu)建大規(guī)模中英可比較語料庫。首先，利用開源的網(wǎng)頁爬蟲工具從新華網(wǎng)上爬取原始的中文文檔集合和英文文檔集合，并將所有的文檔進行統(tǒng)一的格式化處理;然后，分別提取中英文檔的詞匯來代表當前文檔，并將中文文檔的詞匯翻譯成英文，構(gòu)成英文檢索語句，將英文

2、詞匯翻譯成中文，構(gòu)成中文檢索語句;最后，利用英文檢索語句到英文文檔集合中檢索候選英文文檔，利用中文檢索語句到中文文檔集合中檢索候選中文文檔，并通過中英文檔對的發(fā)表日期和相似度進行過濾。實驗結(jié)果表明，本文的方法明顯優(yōu)于之前的中英可比較語料庫構(gòu)建方法。
　　本研究主要內(nèi)容包括：⑴在中文文檔詞匯抽取方面，采用了單詞和多詞相結(jié)合的方法。在預(yù)處理階段，針對分詞結(jié)果中存在的問題，對分詞結(jié)果進行修正。在單詞的抽取方面，有效結(jié)合了中文表達習(xí)慣上的

3、特點;在多詞提取方面，有效結(jié)合新聞文本本身的特點;最后，通過去重方法等有效結(jié)合了兩者。⑵在文檔對齊方面，考慮到真實文本中，一篇源文檔所對應(yīng)的目標文檔數(shù)目是不確定的，本文只取前N篇目標文檔作為候選集，設(shè)置相似度閾值對候選集進行過濾。⑶提出了雙向構(gòu)造法，分別將兩種語言的文檔集合作為源語言集合，另一種語言的文檔集合作為目標語言集合，即從中文到英文、從英文到中文兩個方向上構(gòu)建可比較語料庫。實驗結(jié)果也表明，從兩個方向上構(gòu)造中英可比較語料庫明顯優(yōu)于