基于Web的雙語資源信息抽取研究.pdf

1、在信息爆炸的現(xiàn)代社會，要從浩如煙海的文獻、資源中找到真正需要且有價值的內容，是一個重要的課題。為了解決這一課題，信息檢索、信息抽取等技術的研究成為當前的熱點方向。信息檢索能夠找出滿足一定檢索條件的所有的文檔，而人們仍需閱讀所找到的每一個段落才能獲得所需要的信息；而信息抽取是一種直接從自然語言文本中抽取事實的方法，即從一段文本中抽取指定的一類信息，將其形成結構化的數(shù)據(jù)，并填入一個數(shù)據(jù)庫中供用戶查詢使用。 為某一個或多個應用而專門收

2、集的、有一定結構的、可被計算機程序檢索的、具有一定規(guī)模的語料的集合稱之為語料庫。因特網(wǎng)的發(fā)展使信息傳播的領域從真實世界拓展到網(wǎng)絡空間，各種類型的數(shù)字化語言材料，包括雙語對照的材料，都更容易獲得。這為進行信息抽取實驗創(chuàng)造了更好的條件。 本文通過構建完整的下載、加工、抽取過程來研究如何從因特網(wǎng)的雙語文本中抽取有價值的信息。主要工作包括： 收集資源是進行信息抽取的前提條件，在這一階段，討論在因特網(wǎng)上定位和識別雙語語料的方法，分

3、析并獲取某個站點檢索程序的結構，對于沒有提供檢索功能的站點，利用爬行程序鏈接下載。 將網(wǎng)頁中的動態(tài)數(shù)據(jù)區(qū)域與正文部分相區(qū)分，給出基于分塊的網(wǎng)頁正文信息抽取算法，將網(wǎng)頁中包含的噪音內容，如導航鏈接及商業(yè)廣告鏈接等盡量屏蔽掉。 在版權許可的情況下，儲存兩種語言的網(wǎng)頁資料，使之成為雙語平行的語料資源。 在加工形成的雙語語料中，進行知識抽取。介紹并分析抽取詞匯表、術語的算法以及抽取翻譯模板的方法。最后總結全文并展望今后進