改進(jìn)TFIDF和譜分割的關(guān)鍵詞自動抽取方法研究.pdf

1、關(guān)鍵詞是指文檔中具有專指性且能夠反映文檔主題的詞語或短語。采用自動化技術(shù)從文檔中抽取出關(guān)鍵詞的過程稱為關(guān)鍵詞自動抽取。關(guān)鍵詞自動抽取是文本自動處理中分類、檢索和文摘等工作的基礎(chǔ)與關(guān)鍵技術(shù)之一。
　　 按照理論依據(jù)不同，關(guān)鍵詞抽取的方法可以分為：統(tǒng)計分析、語言分析和人工智能等方法。關(guān)鍵詞抽取的統(tǒng)計分析方法根據(jù)統(tǒng)計信息計算詞語或短語的權(quán)重，從中抽取權(quán)重大的若干詞語或短語為關(guān)鍵詞。TFIDF(Term Frequency& Inver

2、seDocumentation Frequency)算法是一種應(yīng)用較廣的權(quán)重計算統(tǒng)計分析方法。該算法選用詞語或短語的頻率TF與反文檔頻率IDF的乘積來表示特征項的權(quán)值。完全基于詞頻的傳統(tǒng)TFIDF算法可能出現(xiàn)兩類現(xiàn)象：有些不能代表文檔主題的低頻詞IDF值卻很高；有些能夠很好地代表文檔主題的高頻詞IDF值卻很低。本文綜合考慮詞語或短語的詞頻、詞性、詞長以及在文檔中出現(xiàn)的位置，設(shè)計了一種改進(jìn)的TFIDF算法。
　　 詞語同現(xiàn)頻率是關(guān)

3、鍵詞抽取統(tǒng)計分析方法中的一個重要的信息。單純地利用候
　　 選關(guān)鍵詞的同現(xiàn)頻率加權(quán)計算候選關(guān)鍵詞的權(quán)重，進(jìn)行關(guān)鍵詞的抽取，效果不佳。為了進(jìn)一步提高關(guān)鍵詞抽取的準(zhǔn)確性，本文將基于圖像分類的譜分割方法應(yīng)用于關(guān)鍵詞抽取，設(shè)計了基于譜分割的關(guān)鍵詞抽取方法。其主要思路是首先對文本中的候
　　 選關(guān)鍵詞基于詞語同現(xiàn)頻率建立相似圖，使用譜分割方法對圖中候選關(guān)鍵詞進(jìn)行分類，統(tǒng)計候選關(guān)鍵詞所在分類的詞語總數(shù)，根據(jù)候選關(guān)鍵詞的改進(jìn)TFIDF

4、值和候選
　　 關(guān)鍵詞所在類的詞語總數(shù)計算候選關(guān)鍵詞的權(quán)重，排序后權(quán)重值較大的若干候選關(guān)鍵詞即為抽取的關(guān)鍵詞。
　　 論文選用“中國論文下載中心”(http：//www.studa.net/)的民法、科技和經(jīng)濟(jì)三類的論文各100篇作為實驗的數(shù)據(jù)集。分別用基于傳統(tǒng)的TFIDF方法、基于改進(jìn)的TFIDF方法和基于譜分割方法抽取關(guān)鍵詞。實驗結(jié)果表明改進(jìn)的TFIDF方法關(guān)鍵詞抽取的準(zhǔn)確率、召回率和F1值明顯高于傳統(tǒng)的TFIDF方