基于共現(xiàn)詞的改進(jìn)LSA模型及主題詞抽取方法研究.pdf

1、信息主題的抽取是快速定位用戶需求的基礎(chǔ)性任務(wù)，本文主要研究了文本主題詞的抽取算法。詞匯的權(quán)重計(jì)算是主題詞抽取需要解決的最基礎(chǔ)、最關(guān)鍵的問題，本文計(jì)算詞匯權(quán)重時(shí)通過互信息構(gòu)建共現(xiàn)詞對(duì)，然后與詞頻、詞性、詞位置信息非線性組合，得到文檔-共現(xiàn)詞矩陣。借助潛在語義分析（Latent Semantic Analysis，LSA）模型中的奇異值分解（Singular Value Decomposition，SVD）后求得潛在語義空間的文檔相似矩陣，

2、經(jīng)k-means聚類后選出互信息值最大的前幾對(duì)共現(xiàn)詞，作為該類文章的主題詞。本文主要的研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下。
　　在詞語信息量計(jì)算方面，傳統(tǒng)TF-IDF(Term Frequency–Inverse Document Frequency)算法忽略了詞性、詞位置、詞長(zhǎng)度等詞特性，這樣的詞權(quán)重并不能精確衡量詞語對(duì)于文本的貢獻(xiàn)度。所以本文首先考慮詞性，在大量語料庫的統(tǒng)計(jì)中發(fā)現(xiàn)名詞、動(dòng)詞、形容詞、副詞四大主要詞性，各自的百分比依次為61.

3、98％、29.29%、3.82%、5.01%?；谶@個(gè)比例改進(jìn)傳統(tǒng)的TF-IDF算法，這就是本文中提出的POS_TF-IDF算法，即基于詞性的TF-IDF算法。
　　BOW(Bag of Words)模型忽略了詞語之間的相關(guān)性，為了彌補(bǔ)這個(gè)缺陷，本文提出將共現(xiàn)詞考慮在內(nèi)的詞權(quán)重計(jì)算方法。本文中共現(xiàn)詞的相關(guān)性貢獻(xiàn)度用信息論的互信息計(jì)算，并論證了互信息計(jì)算共現(xiàn)詞的正確性和合理性。此外選取文本段落作為窗口大小，共現(xiàn)詞對(duì)出現(xiàn)在段落首句、尾

4、句、中間句不同位置時(shí)，對(duì)應(yīng)權(quán)重各不相同。本文綜合考慮詞性、共現(xiàn)詞、詞位置因素，提出COVSM模型。該模型中詞權(quán)重的計(jì)算既彌補(bǔ)了傳統(tǒng)TF-IDF算法孤立計(jì)算詞信息的不足，又添加了詞性影響因素。
　　本文選取LSA模型抽取主題詞，LSA模型的關(guān)鍵是SVD，本文講解了SVD分解的數(shù)學(xué)理論，并論證了在文本分析中的物理意義，說明了文檔相關(guān)性的左奇異矩陣和詞匯相關(guān)性的右奇異矩陣。本文最后采用 k-means算法對(duì)文檔相關(guān)性矩陣聚類后，在同類文