基于Hadoop的雙語語料采集系統(tǒng).pdf

1、近年來,自然語言處理的相關(guān)技術(shù)研究中,基于統(tǒng)計的研究方法占據(jù)了主導(dǎo),基于實例和統(tǒng)計的翻譯方法為機器翻譯技術(shù)提供新的研究思路。
　　對于機器翻譯領(lǐng)域來說,語料庫是機器翻譯統(tǒng)計學(xué)習(xí)不可或缺的基礎(chǔ)。特別地,雙語語料為機器翻譯和跨語言檢索等自然語言處理領(lǐng)域提供基礎(chǔ)的資源,大規(guī)模的雙語語料庫資源能夠明顯的改進機器翻譯技術(shù)的質(zhì)量。同時,語料庫中的翻譯知識獲取,可以細粒度的挖掘翻譯詞典和模板。
　　經(jīng)過多年來飛速的發(fā)展,互聯(lián)網(wǎng)上的信息劇增

2、,海量的互聯(lián)網(wǎng)網(wǎng)頁資源中包含了大量的雙語翻譯資源,且Web網(wǎng)頁的實時性和多樣性等特點,相較于其他來源的語料,互聯(lián)網(wǎng)的雙語翻譯資源時效性強,覆蓋領(lǐng)域廣,資源數(shù)量大。
　　研究基于Web的大規(guī)模雙語平行語料庫獲取技術(shù)對于解決雙語語料庫獲取難題,推動相關(guān)技術(shù)發(fā)展和實用化具有重要的意義。本文的目標(biāo)就是建立一個面向互聯(lián)網(wǎng)基于Hadoop分布式計算平臺的雙語語料采集系統(tǒng)。
　　本文首先介紹Hadoop分布式技術(shù):MapReduce并發(fā)計

3、算模型和HDFS分布式文件系統(tǒng),并且對網(wǎng)頁爬行器的任務(wù)調(diào)度算法、信息去重、網(wǎng)頁更新識別等關(guān)鍵技術(shù)進行了分析,論述了爬行器性能和效率的瓶頸,在此基礎(chǔ)上設(shè)計實現(xiàn)了基于Hadoop的面向Web的大規(guī)模、多語言的網(wǎng)頁爬行器和面向雙語網(wǎng)站的增量式爬行器。然后,本文介紹了一種基于互聯(lián)網(wǎng)詞典的元搜索獲取雙語平行句對的方法,最后,基于抽樣檢測對互聯(lián)網(wǎng)上雙語翻譯資源規(guī)模進行了估計,并論證了其正確性。
　　本文的意義在于提出了從Web上大規(guī)模采集雙語