基于BTM主題模型特征擴(kuò)展的短文本相似度計(jì)算.pdf

1、隨著因特網(wǎng)和各種移動(dòng)終端的發(fā)展，計(jì)算機(jī)對(duì)各種文本類信息處理的重要性日益凸顯。短信、微博、電子商務(wù)的普及更使得用簡(jiǎn)短的文字表示信息越來(lái)越重要。每天TB級(jí)數(shù)據(jù)的產(chǎn)生，標(biāo)志著大數(shù)據(jù)時(shí)代的來(lái)到。從簡(jiǎn)單的文本中挖掘輿論傾向，從商品評(píng)論中挖掘消費(fèi)心理，短文本的挖掘有助于幫助政府更貼近了解民意傾向，幫助企業(yè)更好的了解用戶需求。然而，短文本不像長(zhǎng)文本那樣具有豐富的語(yǔ)義特征，語(yǔ)義和特征矩陣的稀疏特性導(dǎo)致難以對(duì)它進(jìn)行挖掘。本文的重點(diǎn)在于改善短文本特征矩陣的

2、稀疏性問(wèn)題，并用改善后的短文本矩陣進(jìn)行相似度計(jì)算。在長(zhǎng)文本的領(lǐng)域，主題模型的發(fā)展和應(yīng)用已經(jīng)日趨成熟。但是對(duì)于有著數(shù)據(jù)稀疏性的短文本來(lái)說(shuō)，主題模型還不能脫離長(zhǎng)文本的影子。很多論文致力于如何把短文本通過(guò)相關(guān)信息擴(kuò)充成長(zhǎng)文本再進(jìn)行建模計(jì)算。由于很多的短文本相關(guān)信息并不是那么容易找到，并且這種方法，其結(jié)果的好壞對(duì)于用來(lái)擴(kuò)充的信息的準(zhǔn)確度有著很大的依賴性，所以這種方法不具有通用性。本文結(jié)合2013年5月IW3C2會(huì)議上提出的在短文本建模方面有具有

3、優(yōu)勢(shì)的BTM主題模型對(duì)短文本進(jìn)行特征擴(kuò)展后，再用擴(kuò)展后的特征矩陣進(jìn)行相似度計(jì)算，實(shí)驗(yàn)證明了本方法取得了很好的效果。
　　本文首先介紹了VSM的原理，以及如何使用VSM對(duì)短文本建模進(jìn)而進(jìn)行短文本的相似度計(jì)算。其次，本文簡(jiǎn)要介紹三種文本相似度計(jì)算公式（距離公式），實(shí)驗(yàn)對(duì)比了夾角余弦和JS距離兩種相似度計(jì)算方法的好壞，最終確定了使用JS距離作為本算法中的距離計(jì)算方法。然后簡(jiǎn)要介紹了LSI、pLSI、LDA、和BTM主題模型的原理。簡(jiǎn)要介

4、紹LDA模型原理、參數(shù)估計(jì)方法、GibbsLDA模型的輸入輸出。重點(diǎn)介紹BTM模型建模及推斷過(guò)程、BTM參數(shù)估計(jì)方法和BTM模型的輸入輸出的文檔形式和參數(shù)。并且實(shí)驗(yàn)對(duì)比了兩種模型在相似度計(jì)算中的效果，作為剛剛提出的文本模型，相比較于傳統(tǒng)的針對(duì)長(zhǎng)文本建模的主題模型，和使用外部背景資料進(jìn)行擴(kuò)充的短文本處理方法，BTM模型利用整個(gè)短文本語(yǔ)料庫(kù)的豐富信息進(jìn)行建模和推斷，很好的改善了短文本語(yǔ)義稀疏的問(wèn)題，在短文本建模以及概率推斷上有著很大優(yōu)勢(shì)。<

5、br>　　最后，本文提出了使用BTM主題模型對(duì)短文本特征擴(kuò)展來(lái)改善短文本特征稀疏的問(wèn)題，后用改善后的短文本特征矩陣計(jì)算短文本相似度的方法，首先對(duì)短文本特征選擇進(jìn)行去噪處理，建立短文本的特征矩陣，由于該矩陣具有稀疏性，所以用BTM模型的推斷結(jié)果對(duì)短文本的稀疏的特征矩陣進(jìn)行特征擴(kuò)展，將擴(kuò)展后的矩陣作為相似度計(jì)算的輸入。最后用JS距離衡量短文本相似度。本文詳細(xì)介紹了LDA模型和BTM模型的輸入輸出格式、參數(shù)，并在論文的末尾附上了BTM模型預(yù)處