文本聚類算法的語義性改進與實現(xiàn).pdf

1、現(xiàn)代搜索引擎需要面臨的一個非常有挑戰(zhàn)性的難題是：如何處理非確切性查詢，如何對返回的結(jié)果進行抽象組織，使得用戶能夠迅速縮小查詢范圍，達到良好的搜索體驗。當今大多數(shù)搜索引擎，對于一次查詢返回的結(jié)果，并沒有總結(jié)組織的機制(只有少數(shù)研究型系統(tǒng)提供了此模塊)，用戶不得不在返回的大量結(jié)果中，遍歷，翻頁，查找他們所需要的信息。將查詢結(jié)果進行聚類化，并且以友好的界面呈現(xiàn)給用戶，是解決非確切性查詢的有效手段。
　　 本文從豐富語義性的角度給出了一

2、個基于K-means聚類算法的增強實現(xiàn)，充分挖掘文本內(nèi)在表達缺失的語義信息，并在聚類產(chǎn)生，以及聚類呈現(xiàn)的過程中加以利用。聚類產(chǎn)生階段，借助維基百科的主題，類別，鏈接結(jié)構(gòu)，提取語義信息，在降低噪聲影響的前提下，增強文本的語義表現(xiàn)力，優(yōu)化聚類效果。聚類呈現(xiàn)階段，借助社會化標簽網(wǎng)站的用戶標注，與聚類內(nèi)在標簽競爭，選取最符合聚類描述的標簽，改進聚類的呈現(xiàn)效果。
　　 本文實驗系統(tǒng)包括，文本 VSM模型建立模塊，Wiki語義信息抽取模塊，

3、增強型聚類生成模塊，聚類內(nèi)標簽提取模塊，社會化標簽提取模塊，以及最優(yōu)標簽競爭模塊。實驗搭建了基于Hadoop的分布式文本聚類框架，對比了語義增強型K-means算法和傳統(tǒng)K-means，fuzzy-K-mean，LDA算法的聚類效果，分析了本文Wiki信息提取策略與現(xiàn)存研究的優(yōu)化，驗證了本文標簽競爭策略相比基于聚類質(zhì)心，聚類分詞頻度，MI的傳統(tǒng)標簽生成策略的改進。
　　 實驗結(jié)果表明，引入Web2.0語義信息增強后，聚類內(nèi)聚度得