面向領(lǐng)域文本的潛在語義分析研究.pdf

1、傳統(tǒng)基于詞語獨(dú)立性假設(shè)、原始高維詞語特征表示和字面匹配方法的文本信息處理往往忽略了文本信息中所隱藏的語義結(jié)構(gòu)，無法形成對(duì)文檔、作者、研究結(jié)構(gòu)等處理單元的正確語義表示，影響了檢索、聚類、分類、相似度計(jì)算、關(guān)聯(lián)挖掘等深層文本信息處理的效率、準(zhǔn)確率和召回率。因此，探索一種有效的語義分析和表示技術(shù)，對(duì)于文本信息處理和挖掘有著重要的意義。
　　 針對(duì)傳統(tǒng)文本信息處理存在的問題，本文引入了潛在語義分析(LSA)模型，試圖通過奇異值分解(SV

2、D)、半離散分解(SDD)以及非負(fù)矩陣分解(NMF)等語義降維方法達(dá)到信息過濾和去除噪聲的目的，實(shí)現(xiàn)原始“詞語-文檔矩陣”的分解，獲得原始矩陣的降維近似逼近陣，從而將文檔和詞語的高維表示投影到低維的潛在語義空間中，縮小問題的規(guī)模，得到不再稀疏的詞匯和文檔的低維表示，進(jìn)而揭示出詞匯(文檔)之間的語義聯(lián)系。
　　 在對(duì)文本信息處理和潛在語義分析的國內(nèi)外研究與應(yīng)用的現(xiàn)狀和問題的總結(jié)基礎(chǔ)上，本文闡述了潛在語義分析(LSA)模型的基本思想

3、和原理，重點(diǎn)研究了基于SVD、SDD等的潛在語義分析實(shí)現(xiàn)方法、各種方法的數(shù)學(xué)原理以及實(shí)現(xiàn)過程，同時(shí)將這些方法與PCA等傳統(tǒng)語義成分提取方法進(jìn)行比較，對(duì)這些方法應(yīng)用于文本信息處理的科學(xué)性進(jìn)行了理論解釋，彌補(bǔ)了相關(guān)方法研究在理論解釋方面的不足。論文重點(diǎn)實(shí)現(xiàn)了基于SDD的潛在語義分析處理。這是一種在理論解釋、效率和精度等方面均較優(yōu)異的方法，國內(nèi)相關(guān)研究則較少，本文在此方法上的理論、實(shí)現(xiàn)和實(shí)驗(yàn)研究是一種有意義的嘗試。
　　 然后，論文探