支持多語義層次的短文本特征提取及其分類技術(shù).pdf

1、隨著互聯(lián)網(wǎng)等信息技術(shù)的高速發(fā)展，網(wǎng)絡(luò)上無時無刻都在產(chǎn)生著海量數(shù)據(jù)，以廣告詞、論文標(biāo)題、網(wǎng)頁評論以及微博信息為代表的短文本數(shù)據(jù)是這些數(shù)據(jù)的主要存在形式之一。因此，如何智能的對這些短文本數(shù)據(jù)進行挖掘、分析和歸類是數(shù)據(jù)挖掘領(lǐng)域普遍關(guān)注的熱點問題，近年來已經(jīng)出現(xiàn)了多種短文本分類技術(shù)。
　　現(xiàn)有的方法在對短文本分類時，只是單純的根據(jù)知識庫對短文本進行同義詞和近義詞擴展，然后按照長文本的分類方法指導(dǎo)短文本分類。這種方法引入了大量無關(guān)特征，而且

2、沒有考慮詞語間層次上的語義關(guān)系，以及詞語間的組合語義。因此，本文重點對短文本的多層語義特征的生成和提取做了研究，并用這些特征來指導(dǎo)短文本的分類。
　　本文首先綜述了現(xiàn)有的文本分類技術(shù)，并基于此，將短文本的特征抽象為四層語義特征，并提出了支持多語義層次的短文本特征提取和分類框架。為了盡最大限度的保留了文本原有語義特征，本文首先提出了改進的基于詞性標(biāo)注的分詞方法，并以此作為短文本的分詞方法。提出了基于Probase的短文本的三層語義特

3、征生成與選擇方法，將短文本中原有的單詞擴充到概念、實例和屬性三層語義特征集合上，達到了文本特征層次化的效果。同時，在基于Probase生成特征詞典時，通過同類特征求交集不同類特征求并集的方法來生成特征詞典，并且基于貪心思想的優(yōu)化算法來降低特征詞典的維度，有效的提高了短文本分類的精確性。提出了基于潛在狄利克雷主題模型生成文本主題特征的方法，考慮了詞與詞之間的組合語義特征，使短文本的層次化特征表述更加全面。提出了基于Probase和潛在狄利