基于Web數(shù)據(jù)的雙語(yǔ)資源挖掘技術(shù)研究.pdf

1、隨著統(tǒng)計(jì)方法在自然語(yǔ)言處理中的廣泛應(yīng)用，雙語(yǔ)語(yǔ)料庫(kù)資源對(duì)于自然語(yǔ)言處理研究的巨大價(jià)值已經(jīng)得到越來(lái)越多的認(rèn)可，尤其在機(jī)器翻譯、跨語(yǔ)言信息檢索和雙語(yǔ)術(shù)語(yǔ)翻譯等領(lǐng)域具有不可或缺的重要作用。以互聯(lián)網(wǎng)為數(shù)據(jù)源挖掘雙語(yǔ)資源可以有效解決傳統(tǒng)人工構(gòu)建語(yǔ)料庫(kù)的規(guī)模不足，時(shí)效性、真實(shí)性、語(yǔ)種靈活性差等問(wèn)題?，F(xiàn)有的雙語(yǔ)資源挖掘技術(shù)主要針對(duì)雙語(yǔ)平行網(wǎng)頁(yè)，從中提取相同位置的互譯資源。由于這類(lèi)網(wǎng)頁(yè)數(shù)量少，對(duì)齊模型復(fù)雜，本文提出針對(duì)單一雙語(yǔ)網(wǎng)頁(yè)進(jìn)行雙語(yǔ)資源挖掘方法，

2、通過(guò)介紹重點(diǎn)技術(shù)來(lái)描述雙語(yǔ)資源挖掘的過(guò)程。
　　本文提出了一種基于聯(lián)合策略的雙語(yǔ)網(wǎng)頁(yè)獲取方法。該方法通過(guò)啟發(fā)條件擴(kuò)展搜索項(xiàng)、過(guò)濾不相關(guān)網(wǎng)頁(yè)，得到含有雙語(yǔ)信息的網(wǎng)頁(yè)，以頻繁序列模式為特征，使用支持向量機(jī)對(duì)網(wǎng)頁(yè)進(jìn)行二分類(lèi)，判斷所得網(wǎng)頁(yè)是否為雙語(yǔ)網(wǎng)頁(yè)。
　　然后根據(jù)雙語(yǔ)網(wǎng)頁(yè)特點(diǎn)提出用頻繁序列模式和種子模式構(gòu)建規(guī)則庫(kù)，通過(guò)規(guī)則匹配的方法提取出雙語(yǔ)片段，同時(shí)使用非規(guī)則文本歸屬度來(lái)度量一個(gè)無(wú)法與規(guī)則相匹配的片段模式能否作為規(guī)則加入規(guī)則庫(kù)

3、。這樣可以擴(kuò)充規(guī)則庫(kù)，滿(mǎn)足雙語(yǔ)資源存在的多樣性與特殊性要求。
　　在雙語(yǔ)資源抽取的過(guò)程中，考慮到語(yǔ)言的差異性，對(duì)于難以通過(guò)編碼區(qū)分的語(yǔ)言，加入語(yǔ)言特征，并在抽取信息時(shí)考慮語(yǔ)言特征的優(yōu)先級(jí)等因素來(lái)完成雙語(yǔ)資源的最終抽取。
　　最后，本文構(gòu)建了“基于Web數(shù)據(jù)的雙語(yǔ)資源挖掘系統(tǒng)”，該系統(tǒng)不僅實(shí)現(xiàn)了上述雙語(yǔ)資源挖掘方法，以可視化的方式展示實(shí)驗(yàn)效果，更加入了方便用戶(hù)使用的查詞、瀏覽網(wǎng)頁(yè)、用戶(hù)添加、指定網(wǎng)址抓取以及種子選擇等功能，成為