中英文新聞網(wǎng)頁關(guān)鍵詞抽取技術(shù)研究.pdf

1、信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)的普及使得網(wǎng)上信息呈現(xiàn)出幾何級數(shù)的增長。檢索和利用網(wǎng)絡(luò)信息變得越來越困難。如何有效的對海量信息進行組織、壓縮和檢索，提高信息訪問的效率成了一個越來越重要的課題。作為網(wǎng)絡(luò)信息傳播的重要載體，眾多新聞網(wǎng)頁沒有關(guān)鍵詞。對這些網(wǎng)頁進行關(guān)鍵詞抽取，將提高用戶瀏覽的速度和信息的訪問效率。 從這點出發(fā)，本文研究了自然語言處理和信息檢索技術(shù)的一個重要領(lǐng)域-新聞網(wǎng)頁的關(guān)鍵詞自動抽取。在追蹤了國內(nèi)外研究現(xiàn)狀，分析比較了各類

2、關(guān)鍵詞抽取算法的基礎(chǔ)上，提出了一種不依賴語種、不依賴訓(xùn)練語料庫的單文檔的基于詞匯鏈和詞共現(xiàn)的新聞網(wǎng)頁關(guān)鍵詞抽取算法KEUD和算法KELCC。大量的隨機新聞網(wǎng)頁實驗結(jié)果表明，本文提出的算法是有效的新聞網(wǎng)頁關(guān)鍵詞抽取算法。 綜上所述，本文的主要工作如下： (1)對新聞網(wǎng)頁關(guān)鍵詞抽取展開研究，從理論和實驗兩方面證明了基于語義分析的關(guān)鍵詞抽取方法有著良好的應(yīng)用前景。在對提出的基于詞匯鏈的關(guān)鍵詞抽取算法KEUD實驗驗證的基礎(chǔ)上，將

3、詞語相關(guān)性引入詞語語義相似度分析中，提出了基于詞匯鏈與詞共現(xiàn)的新聞網(wǎng)頁關(guān)鍵詞抽取算法KELCC； (2)在抽取關(guān)鍵詞的過程中實現(xiàn)了詞語的歧義消解。在自然語言處理和信息檢索技術(shù)中，語義結(jié)構(gòu)的構(gòu)造依賴于每個詞語的詞義。利用構(gòu)建的詞匯鏈表示文本語義結(jié)構(gòu)就要求實現(xiàn)對多義詞的詞義判別。本文借助知識庫和語境上下文提供的有效信息，在構(gòu)建詞匯鏈過程中將詞語的各個詞義納入到整個語境下考查，通過判斷多義詞的詞義與其周圍上下文環(huán)境的關(guān)系來消除多義詞的

4、歧義； (3)每一種特征選擇方法都要與具體的應(yīng)用相結(jié)合才能最大限度發(fā)揮其性能。通過對比實驗，本文從文章、詞匯鏈和知識庫中提出了大量有效特征，借助選取的特征從候選詞集中選擇出最終抽取的關(guān)鍵詞； (4)引入詞語的相關(guān)性以解決未包含詞語的抽取問題。提出的KEUD算法由于需要判斷詞語間的語義相似度，而語義相似度的計算需要知識庫的支持。因此不能很好的處理未包含詞的抽取問題。為了解決該問題，本文在該算法的基礎(chǔ)上加入了詞共現(xiàn)模型，提出