基于維基百科的短文本處理方法.pdf

1、隨著即時通訊和互聯(lián)網(wǎng)技術(shù)的普及，多元化社交體系逐步形成，短文本數(shù)據(jù)量與日俱增，如何處理大量的短文本數(shù)據(jù)尤為重要。短文本具有內(nèi)容簡短，特征稀疏等特點，普通文本分類方法并不適用于短文本，短文本分類成為目前的研究重點與難點。國內(nèi)外學(xué)者對短文本分類的研究主要集中在短文本處理與分類算法改進兩個方面。論文主要從短文本處理方面入手，對短文本詞義消歧、特征擴展進行研究，最后利用常用的文本分類算法對處理后的短文本進行分類。鑒于維基百科具有數(shù)據(jù)全面、語義豐

2、富等特點，論文將其作為外部知識庫，提出基于維基百科的短文本詞義消歧方法與特征擴展方法，解決短文本中的一詞多義問題與特征稀疏問題，有效提高了短文本分類性能。主要工作如下:
　　1)提出基于詞頻統(tǒng)計的TF-IDF算法
　　針對傳統(tǒng)TF-IDF(Term Frequency-Inverse Document Frequency)算法關(guān)鍵詞提取效率低下及準確率欠佳的問題，提出基于詞頻統(tǒng)計的TF-IDF算法。首先，通過齊普夫定律推導(dǎo)出

3、文本中同頻詞數(shù)的計算公式;其次，根據(jù)同頻詞數(shù)計算公式確定文本中各頻次詞語所占比重，發(fā)現(xiàn)文本中絕大多數(shù)是低頻詞;最后，將詞頻統(tǒng)計規(guī)律與傳統(tǒng)TF-IDF算法相結(jié)合，提出基于詞頻統(tǒng)計的TF-IDF算法——TFIDFWFS(TF-IDF Algorithm Basedon Word Frequency Statistics)。
　　采用中、英文文本實驗數(shù)據(jù)集進行仿真實驗，結(jié)果表明，在文本關(guān)鍵詞提取中，TFIDFWFS在查準率、查全率及F1

4、指標上均優(yōu)于傳統(tǒng)TF-IDF算法，并能夠有效降低關(guān)鍵詞提取的運行時間。
　　2)提出面向維基百科的TFIDFWFS算法
　　針對TFIDFWFS算法未考慮維基百科頁面特點的問題，提出面向維基百科的TFIDFWFS算法，選擇最具代表性的特征詞來表示維基百科詞條。首先，結(jié)合維基百科文本結(jié)構(gòu)特點，提出基于文本結(jié)構(gòu)加權(quán)的TF方法;其次，結(jié)合錨文本信息特點，提出基于錨文本加權(quán)的TF方法;然后，結(jié)合類別信息特點，提出基于類別信息加權(quán)的T

5、F-IDF方法;最后，將維基百科頁面特點與TFIDFWFS算法相結(jié)合，提出面向維基百科的TFIDFWFS算法——W-TFIDFWFS(Wikipedia Oriented TF-IDF Algorithm Based on WordFrequency Statistics)。
　　采用中、英文維基百科數(shù)據(jù)集進行仿真實驗，結(jié)果表明，在對維基百科頁面進行關(guān)鍵詞提取時，W-TFIDFWFS在查準率、查全率及F1指標上均優(yōu)于TFIDFWF

6、S算法，可比較準確地計算特征詞權(quán)重，有效提取維基百科頁面核心信息。
　　3)提出基于維基百科的短文本詞義消歧方法
　　針對短文本中的一詞多義問題，提出基于維基百科的短文本詞義消歧方法——STWSDMW(Short Text Word Sense Disambiguation Method Based on Wikipedia)。首先，從維基百科消歧頁面中獲得待消歧詞的消歧候選集合;其次，獲得短文本中無歧義特征詞對應(yīng)的維基條目

7、標題集合;然后，計算每一個消歧候選詞的相似度得分函數(shù)值;最后，選擇相似度得分值最大的消歧候選詞作為最終的消歧結(jié)果。
　　選取中、英文短文本實驗數(shù)據(jù)集進行驗證，實驗表明，采用STWSDMW方法對短文本進行詞義消歧可有效提高短文本分類性能。
　　4)提出基于維基百科的短文本特征擴展方法
　　針對短文本特征稀疏，導(dǎo)致短文本分類準確率低下的問題，提出基于維基百科的短文本特征擴展方法——STFEMW(Short Text Fea