微博短文本分析技術(shù)研究及應(yīng)用.pdf

1、微博的普及化,使得互聯(lián)網(wǎng)中存在大量的文本數(shù)據(jù)。這些數(shù)據(jù)大多數(shù)是微博用戶自創(chuàng)的短文本,其中隱含了微博用戶個人的興趣特征。通過深入分析,挖掘其中隱含的信息,作為其它應(yīng)用的分析數(shù)據(jù),如用戶的個性化推薦。本文通過對微博短文本的研究,挖掘微博短文本特征,識別用戶興趣。本文主要完成了以下工作:
　　1.提出了一種微博新詞識別方法。針對微博中存在許多新型的未登錄詞典的網(wǎng)絡(luò)詞語,給出了微博新詞識別方法。首先根據(jù)微博的特殊形式,給出了微博短文本的預(yù)

2、處理方案。通過特定符號“【】”和“＃＃”規(guī)定的功能,抽取其中的字符串,作為備選詞。然后經(jīng)過詞典過濾、相鄰串過濾,最后計算互信息,抽取互信息達到閾值的詞語作為新詞。建立新詞詞典的作用是在于提高分詞效果。
　　2.提出了微博短文本特征提取方法?；谖⒉┑男问?考慮詞頻、文本稀疏、潛在語義三個方面,給出了將VSM(Vector Space Model)、聚類方法和LDA(Latent Dirichlet Allocation)相結(jié)合的特

3、征詞提取方法。對微博數(shù)據(jù)集利用基于K-Means++的聚類方法進行了聚類,根據(jù)聚類結(jié)果重組數(shù)據(jù)集。對重組后的數(shù)據(jù)集采用LDA建模,再依據(jù)概率分布,抽取特征。
　　3.給出了微博用戶興趣的識別方法?；谔卣髟~提取結(jié)果,給出了基于詞典的識別方法?；谟脩粑⒉┑奶卣髟~,計算每個主題詞典的權(quán)重,選取權(quán)重大于給定閾值的主題作為最終的用戶興趣描述。
　　4.設(shè)計了一個微博用戶興趣挖掘系統(tǒng)。為了將上述給出的方法應(yīng)用于實際的微博數(shù)據(jù)中,得到