基于子空間聚類的文本相關(guān)性研究.pdf

1、文本相關(guān)性度量是中文信息處理中一個非常基礎(chǔ)且關(guān)鍵的問題，在文本相關(guān)性度量方法中采取的主要計算方式是文本相似度計算。目前，向量空間模型（VSM）作為絕大多數(shù)文本相似度算法的基礎(chǔ)，已經(jīng)有著很廣泛的應(yīng)用研究，但這種方法在解決高維度、稀疏問題的文本聚類方面有著很大欠缺，嚴(yán)重影響了文本相似度算法的計算效率和準(zhǔn)確度。
　　子空間聚類是在傳統(tǒng)聚類方法上的一種拓展，其思想是在高維度的數(shù)據(jù)中進行局部維度搜索，將聚類技術(shù)應(yīng)用在高維度空間的一個小單元空

2、間中，加快相似對象的聚類，在解決高維度和稀疏問題方面有著突出的貢獻。對此，論文提出基于子空間聚類的思想來進行文本相關(guān)性的研究。主要研究工作分為以下兩個方面：
　　1．提出基于子空間特征劃分的文本相似度算法
　　結(jié)合帶權(quán)無向圖和子空間文本特征自動劃分思想，提出基于子空間特征劃分優(yōu)化的文本相似度計算算法。首先對子空間聚類的初始中心點進行優(yōu)化處理，獲取初始位置最佳的中心點集合，解決初始位置選擇不當(dāng)影響聚類效果的問題；然后在子空間聚

3、類時對目標(biāo)函數(shù)最小化過程進行優(yōu)化，通過迭代更新的方法達到子空間特征自動劃分的目的，進而提高子空間聚類效果；最后結(jié)合文本相似度計算方法對論文算法和其他算法進行比較，本論文算法就準(zhǔn)確度、運行速度以及F-度量值標(biāo)準(zhǔn)而言優(yōu)于其他子空間聚類算法。
　　2．提出基于子空間關(guān)鍵詞加權(quán)的文本相似度算法
　　結(jié)合投影技術(shù)和文本關(guān)鍵詞加權(quán)計算相似度方法，提出基于子空間關(guān)鍵詞加權(quán)優(yōu)化的文本相似度算法。首先該算法以文本子空間表示理論為基礎(chǔ)，將文本數(shù)