關(guān)鍵短語抽取及相關(guān)技術(shù)研究.pdf

1、關(guān)鍵短語抽取是文本信息處理的重要技術(shù)。隨著網(wǎng)絡時代的到來，在線文檔呈現(xiàn)出幾何級數(shù)的增長，“信息爆炸”成為這個時代的主要特征。檢索和利用網(wǎng)絡信息變得越來越困難，關(guān)鍵詞作為對文章內(nèi)容的簡要概括，可以輔助人們快速了解文章內(nèi)容，節(jié)省瀏覽時間。同時關(guān)鍵詞在自動文摘、信息檢索、文本分類、文本聚類等方面也具有十分重要的作用。在實際生活當中，只有很少的一部分文檔擁有作者標注的關(guān)鍵詞，并且由人手工進行關(guān)鍵詞的標注是一項非常費時費力的工作且主觀性較強。因此

2、非常需要有一種方法，能夠自動的進行關(guān)鍵詞的抽取。
　　關(guān)鍵詞既要反映文本的主題內(nèi)容，又要具有專指性。由于作者給定的關(guān)鍵詞大多是由兩個或者兩個以上的詞組成，因此本文也稱為關(guān)鍵短語。關(guān)鍵短語的抽取已經(jīng)成為信息檢索領(lǐng)域中非常重要的研究課題。本文主要研究了以下幾個問題：
　　1．研究了與關(guān)鍵短語相關(guān)的資源建設(shè)問題，我們對格式化數(shù)據(jù)處理的方式進行了分類，并通過對互聯(lián)網(wǎng)數(shù)據(jù)進行格式化處理來使人們了解如何進行資源建設(shè)。
　　2．本文

3、利用文檔結(jié)構(gòu)，分析和研究了關(guān)鍵短語抽取問題。本文采用分類的設(shè)計思想實現(xiàn)關(guān)鍵短語的抽取，并且分別采用支持向量機模型(SVM)來建立分類模型以及采用條件隨機場模型(CRF)進行關(guān)鍵短語抽取。實驗結(jié)果表明，本文提出的抽取算法在查準率和查全率上都比已有的算法有顯著的提高。
　　3．研究了軟件測試問題，針對關(guān)鍵短語抽取完成了有關(guān)實驗測試，我們對軟件測試的方法進行了歸納、分類。通過使用Junit軟件進行軟件測試實驗，我們分為五個部分對實驗進行