基于共現(xiàn)詞的改進LSA模型及主題詞抽取方法研究.pdf

1、信息主題的抽取是快速定位用戶需求的基礎性任務，本文主要研究了文本主題詞的抽取算法。詞匯的權重計算是主題詞抽取需要解決的最基礎、最關鍵的問題，本文計算詞匯權重時通過互信息構建共現(xiàn)詞對，然后與詞頻、詞性、詞位置信息非線性組合，得到文檔-共現(xiàn)詞矩陣。借助潛在語義分析（Latent Semantic Analysis，LSA）模型中的奇異值分解（Singular Value Decomposition，SVD）后求得潛在語義空間的文檔相似矩陣，

2、經(jīng)k-means聚類后選出互信息值最大的前幾對共現(xiàn)詞，作為該類文章的主題詞。本文主要的研究內(nèi)容和創(chuàng)新點如下。
　　在詞語信息量計算方面，傳統(tǒng)TF-IDF(Term Frequency–Inverse Document Frequency)算法忽略了詞性、詞位置、詞長度等詞特性，這樣的詞權重并不能精確衡量詞語對于文本的貢獻度。所以本文首先考慮詞性，在大量語料庫的統(tǒng)計中發(fā)現(xiàn)名詞、動詞、形容詞、副詞四大主要詞性，各自的百分比依次為61.

3、98％、29.29%、3.82%、5.01%。基于這個比例改進傳統(tǒng)的TF-IDF算法，這就是本文中提出的POS_TF-IDF算法，即基于詞性的TF-IDF算法。
　　BOW(Bag of Words)模型忽略了詞語之間的相關性，為了彌補這個缺陷，本文提出將共現(xiàn)詞考慮在內(nèi)的詞權重計算方法。本文中共現(xiàn)詞的相關性貢獻度用信息論的互信息計算，并論證了互信息計算共現(xiàn)詞的正確性和合理性。此外選取文本段落作為窗口大小，共現(xiàn)詞對出現(xiàn)在段落首句、尾

4、句、中間句不同位置時，對應權重各不相同。本文綜合考慮詞性、共現(xiàn)詞、詞位置因素，提出COVSM模型。該模型中詞權重的計算既彌補了傳統(tǒng)TF-IDF算法孤立計算詞信息的不足，又添加了詞性影響因素。
　　本文選取LSA模型抽取主題詞，LSA模型的關鍵是SVD，本文講解了SVD分解的數(shù)學理論，并論證了在文本分析中的物理意義，說明了文檔相關性的左奇異矩陣和詞匯相關性的右奇異矩陣。本文最后采用 k-means算法對文檔相關性矩陣聚類后，在同類文