潛在語義分析中算法的并行化研究與實現(xiàn).pdf

1、潛在語義分析(Latent Semantic Analysis，LSA)是一種應用于知識獲取和表示的計算理論和方法。該方法應用統(tǒng)計計算的原理對大量文本集進行分析，提取和表示出詞語的語義，從而可以克服傳統(tǒng)信息檢索中使用詞語匹配所帶來的詞語歧義性和同義性等問題。本文以信息檢索為研究背景，對潛在語義分析中潛在語義空間計算算法的并行化進行研究。本文在分析LSA基本原理的基礎上，深入研究特征詞提取、潛在語義空間生成、潛在語義空間更新等并行算法。

2、 潛在語義分析要從文本中提取特征詞構成“詞匯-文本”矩陣。本文首先研究實現(xiàn)了一種基于簡單貝葉斯規(guī)則從中英文文本中提取特征詞的并行算法。該算法首先從文本中選取候選關鍵詞，對每個候選關鍵詞計算特征值，然后利用機器學習算法從文本中并行地提取關鍵詞。通過自強3000上的實驗證明，該算法不僅提高了關鍵詞提取的準確率，而且提高了算法的運行效率。 矩陣奇異值分解(Singular Value Decomposition，SVD)是目前普

3、遍使用的潛在語義空間的構造方法。SVD實現(xiàn)中存在的一個關鍵問題就是“詞匯-文本”矩陣的SVD計算時間。本文針對潛在語義分析中“詞匯-文本”矩陣奇異值分解的特點設計并實現(xiàn)了一種基于單邊Jacobi的矩陣奇異值分解的并行算法。并行算法采用了一種新的并行掃描策略和任務劃分策略。該策略在一次掃描中能產生n(n-1)/2個不同的列向量對，同時能夠對矩陣的列向量按模排序，使奇異值按從大到小的順序排列，大大縮短了奇異值分解的計算時間。 本文進