基于詞語網(wǎng)絡的關鍵字提取策略研究.pdf

1、關鍵字是表述文檔中心內(nèi)容的詞匯，是計算機系統(tǒng)標引論文內(nèi)容特征的詞匯，是便于信息系統(tǒng)匯集以供讀者檢索的詞匯。關鍵字提取是文本挖掘領域的一個分支，是文檔檢索、文檔比較、摘要生成、文檔分類和聚類的基礎性工作。 關鍵字提取算法可分為兩類：基于訓練集的關鍵字提取策略和不需要訓練集的關鍵字提取策略?；谟柧毤姆椒▽㈥P鍵字提取視為分類問題，通過將文檔中出現(xiàn)的詞語劃分到關鍵字類或非關鍵字類，再從關鍵字類中選擇若干個詞語作為關鍵字，該類算法由P

2、eter．D．Turney首次提出，其技術已日趨成熟。 不需要訓練集的算法，可分為以下四類：基于統(tǒng)計的方法，如頻率統(tǒng)計：基于詞語圖的方法，如KeyGraph：基于詞語網(wǎng)絡的方法，如中介性指標(BC，Betweenness Centrality)；基于SWN的方法；上述四種方法都是建立在詞頻統(tǒng)計基礎上?；诮y(tǒng)計的方法簡單快速，能夠提取高頻詞語，卻忽略對文檔具有重要意義但出現(xiàn)頻率不高的詞語，因此提取的關鍵字具有片面性?；谠~語圖的方

3、法需要設定的參數(shù)過多，如頂點數(shù)、邊數(shù)等，因而常造成邊界上的取舍問題，影響算法的穩(wěn)定性和精度。基于SWN的方法是以平均距離K度為關鍵字提取依據(jù)，而SWN理論以連通圖為基礎，故對非連通的文檔結(jié)構圖，無法衡量頂點的重要性，也無法正確地提取文檔關鍵字。 本文主要研究基于詞語網(wǎng)絡的關鍵字提取算法，在分析已有基于詞語網(wǎng)絡的關鍵字提取算法的基礎上，針對存在問題，提出一個新的基于詞語網(wǎng)絡的英文文檔關鍵字提取策略，采用節(jié)點刪除指標度量頂點(詞語)