基于外在知識的短文本聚類分析研究.pdf

1、隨著互聯(lián)網(wǎng)發(fā)展,互聯(lián)網(wǎng)上積累了大量的非格式化文本,并蘊含著豐富的知識,這些知識對于人類的生產(chǎn),生活各個方面都發(fā)揮著極大的作用,對這些文本的研究也越來越嚴(yán)峻。
　　 互聯(lián)網(wǎng)的價值體現(xiàn)在為用戶提供了豐富的應(yīng)用,譬如查詢推薦,標(biāo)簽推薦,新聞推薦等,這些應(yīng)用為用戶提供服務(wù)的同時產(chǎn)生了大量的短文本,譬如查詢,標(biāo)簽,新聞標(biāo)題等。龐大短文本集蘊含豐富的知識,如果能夠根據(jù)文本之間的關(guān)聯(lián)度,把短文本集合分成若干合適大小的子集合,即對這些短文本進行

2、聚類分析,從而發(fā)現(xiàn)潛在的自然分組,譬如為新聞閱覽者推薦類似新聞,或者為新聞閱覽者過濾重復(fù)新聞;為標(biāo)簽撰寫者推薦可能的標(biāo)簽,為搜索引擎用戶提供相似查詢,從而為用戶提供更好的應(yīng)用服務(wù)。因此,短文本的聚類分析有著重要的意義。在一般的文本聚類研究中,聚類的對象是普通長度的文本,同一個簇中的文本在文字上都有一定的相交或者說覆蓋,即兩個文本中相交的內(nèi)容越多,這兩個文本在同一個簇中的可能性越大；但是對于短文本而言,它們的所包含的詞很少,通常表達同一含

3、義的文本卻可以用不同的詞來表達,這樣雖然兩個文本之間幾乎沒有的相交內(nèi)容,但是二者可能有很大的相似,很可能屬于同一個簇。針對這種情形,一般的文本聚類方法就會不能奏效。
　　 本文主要針對文本聚類研究中的短文本聚類問題進行分析研究。短文本的特點是文本長度短,包含的信息少,相似文本間可能不存在字的相交,這樣使用傳統(tǒng)的方法對短文本進行聚類就無法把真正相似的文本聚在同一個簇中。本文提出在原始文本的基礎(chǔ)上,利用維基百科(英文)中的目錄結(jié)構(gòu)和