關鍵詞抽取方法研究及應用.pdf

1、關鍵詞抽取是自然語言處理中的基礎與核心技術。通常對非結構化文本的自動處理，如自動文摘、文本聚類、自動問答等，均需要先進行關鍵詞抽取。關鍵詞是表達文檔主題意義的最小單位，能夠概括文檔的主題信息。傳統(tǒng)的抽取方法是依據(jù)文檔中詞匯的統(tǒng)計信息，計算各詞匯的權重，抽取關鍵詞。這類方法的缺陷是沒有考慮詞的主題表達能力，有很大概率抽取出一些常用詞，使得關鍵詞存在歧義性，不能準確概括文檔的主題信息。針對這一缺陷，本文從兩方面研究詞的主題特性：研究詞的主題

2、特征對關鍵詞抽取效果的影響；研究詞的主題關聯(lián)作用并應用于抽取微博關鍵詞。論文主要工作包括：
　?、贅嬙炝嘶谥黝}特征的關鍵詞抽取模型。使用有監(jiān)督的機器學習方法，并新增了詞的主題特征(Topic Feature,TF)，構建關鍵詞抽取模型。該模型首先使用LDA主題模型模擬文檔集中主題和詞的分布情況；再依據(jù)該分布情況計算詞的主題特征；最后使用裝袋決策樹訓練關鍵詞抽取模型。實驗驗證主題特征可以提升關鍵詞抽取的效果，在抽取10個關鍵詞時，