基于多特征融合的網(wǎng)頁正文提取及雙語網(wǎng)站探測.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)信息規(guī)模呈指數(shù)級增長，同時互聯(lián)網(wǎng)海量信息的背后伴隨著質(zhì)量的參差不齊，準確，快速，全面的獲取信息變得越來越困難，強大的信息提取能力變得備受關(guān)注，信息海量堆積也對信息抽取技術(shù)提出了新的機遇與挑戰(zhàn)。而隨著自然語言處理技術(shù)的飛速發(fā)展，機器翻譯技術(shù)在現(xiàn)實生活中的變得越來越實用，有道翻譯，Google翻譯，百度翻譯等相關(guān)產(chǎn)品已經(jīng)成為非專業(yè)人士進行外文學(xué)習(xí)工作的重要工具。
　　雙語語料是機器翻譯的基礎(chǔ)，是機器翻譯中訓(xùn)

2、練、測試、分析機器翻譯模型的重要數(shù)據(jù)。雙語語料的數(shù)量與質(zhì)量直接關(guān)系到機器翻譯參數(shù)的訓(xùn)練結(jié)果，同時很大程度上對后續(xù)的機器翻譯產(chǎn)品性能產(chǎn)生影響。構(gòu)建一個質(zhì)量高、數(shù)量大的雙語語料庫對機器翻譯、自然語言處理等問題有巨大的應(yīng)用價值和學(xué)術(shù)意義。
　　本文著力于架構(gòu)并實現(xiàn)一個性能優(yōu)異、效率高的雙語文本抽取系統(tǒng)（此系統(tǒng)是互聯(lián)網(wǎng)雙語語料抓取系統(tǒng)的子系統(tǒng)，不包括爬蟲和句子對齊）。本文的主要研究內(nèi)容包含兩個方面：網(wǎng)頁正文提取和雙語網(wǎng)頁探測。
　　

3、本文使用多特征融合技術(shù)針對網(wǎng)頁正文進行提取，不同于傳統(tǒng)生成DOM樹的網(wǎng)頁處理方法，本文采用基于容器標簽的線性化重構(gòu)方法對網(wǎng)頁進行處理，在數(shù)據(jù)結(jié)構(gòu)上使得需要進行樹操作的算法簡化到基于線性表的處理，同時通過長度，分詞結(jié)果，句子數(shù)，等多個特征綜合判斷正文脈絡(luò)，而后通過基于信息增益的聚類獲得網(wǎng)頁正文。在雙語網(wǎng)頁探測方面本文采用基于局部句子錨點搜索的互譯率計算對正文得到的雙語文本進行互譯判斷。在此基礎(chǔ)上本文計加入了基于命名實體重合度、代詞比率等特