基于基因表達式編程的中文文本關鍵詞提取算法研究.pdf

1、當前計算技術特別是因特網技術發(fā)展迅猛，信息技術正深刻地影響著人們的生活。Blog、電子文獻以及數據內容形成了文本的數據海洋，亟需為用戶提供高效的文本信息處理服務。文本信息處理包括文本分類、文本聚類、文本挖掘和近似查詢處理等內容，而文本關鍵詞提取在上述方面有著廣泛的應用，它不僅是進行這些工作不可缺少的基礎和前提，也是互聯網上信息建庫的一項重要工作。文本關鍵詞的自動提取是信息檢索和摘要生成的基礎，在Web頁檢索、文檔聚類、文檔摘要提取、文本

2、挖掘等方面都有廣泛的應用。關鍵詞提取(keywords extraction)，其目的是自動生成準確反映文本主題的關鍵詞，被認為是信息檢索等技術的預處理過程。國外對該技術的研究比較早且比較深入，已經取得了不少研究成果；但中文關鍵詞提取的研究相對落后，存在大量開發(fā)問題。雖然經過眾多研究者的努力，取得了一定的進展，但仍然還有很多問題有待進一步研究和解決。
　　 首先，簡要介紹了自然語言處理、文本信息預處理和特征項等相關知識，分析和比

3、較了常用的關鍵詞提取算法，討論了用于英文關鍵詞提取的GenEx系統、樸素貝葉斯提取算法以及處理漢語文本的PAT TREE、最大熵模型等相關工作，并進行了歸類。
　　 然后，基于三個文本特征項，提出了考慮候選詞權重計算的中文文本關鍵詞提取算法TFLD(term frequency，location & distance algorithm)，該算法基于詞頻、區(qū)域位置以及分詞距離次序三種特征項屬性。TFLD算法的關鍵是詞語權重計算模

4、型的構造。本文引入GEP技術來優(yōu)化求解該計算模型，以GEP進化個體與訓練樣例間的關鍵詞有序序列差異的總方差作為進化的適應度函數，通過GEP進化算法使得關鍵詞提取算法詞語權重公式的表達式結構滿足優(yōu)化閾值的約束。在對詞語權重公式進行優(yōu)化結構的基礎上，引入了LMS(Least Mean Square)法則訓練該關鍵詞提取模型的調節(jié)因子。
　　 最后，TFLD算法與其他方法通過評價實驗進行比較。結果表明，該方法有效提高了關鍵詞提取的精度