基于Web的大規(guī)模雙語知識挖掘算法的研究與實現(xiàn).pdf

1、雙語知識就是同時以源語言和目標(biāo)語言來表述同一概念的知識。在很多自然語言相關(guān)的研究領(lǐng)域里面，雙語知識都是一種極其重要的資源，比如統(tǒng)計機(jī)器翻譯利用雙語知識作為訓(xùn)練語料，跨語言信息檢索利用雙語知識來查詢使用不同語言編輯的網(wǎng)頁，等等。
　　 當(dāng)前雙語知識抽取的研究工作主要集中在兩個方面，一是使用對齊算法從平行語料中抽取雙語知識，二是使用基于預(yù)定義模式的匹配算法從雙語網(wǎng)頁中抽取雙語知識。本文使用雙語網(wǎng)頁為數(shù)據(jù)源，提出了一種基于自適應(yīng)模式的

2、雙語知識挖掘(Adaptive Pattern Data Mining)框架，該算法可以從不同的網(wǎng)頁中自動地學(xué)習(xí)到該頁面中雙語知識的翻譯模式，之后再利用模式匹配方法將當(dāng)前頁面上所有與學(xué)習(xí)到的翻譯模式兼容的雙語知識提取出來，這樣我們就可以得到大量的雙語知識。
　　 本文提出的方法主要包含四個步驟：1)預(yù)處理：處理編碼格式轉(zhuǎn)換、HTML文件解析，以及將網(wǎng)頁文本按照語言屬性進(jìn)行切割；2)種子挖掘：利用雙語對齊模型識別雙語翻譯對，雙語對

3、齊模型的優(yōu)點是將翻譯和音譯過程統(tǒng)一考慮，一定程度上解決了“混合翻譯”和“意譯”的識別問題；3)模式學(xué)習(xí)：從種子挖掘模塊得到的雙語翻譯對中學(xué)習(xí)翻譯模式，使用Ranking-SVM對所有抽取出來的翻譯模式排序，保留最優(yōu)模式(TOP1)；4)基于模式的挖掘：將學(xué)習(xí)得到的翻譯模式在當(dāng)前網(wǎng)頁文本上進(jìn)行匹配，保存所有能夠匹配成功的文本作為雙語知識，該模塊能夠保證我們得到大量的雙語知識。
　　 基于以上四個流程，本文實現(xiàn)了一個實際運(yùn)行的系統(tǒng)，