基于BTM的短文本聚類.pdf

1、隨著互聯(lián)網(wǎng)和網(wǎng)絡技術的快速發(fā)展，很多網(wǎng)絡通信交流平臺被廣泛使用，如手機短信、微博、電子郵件、論壇、聊天軟件、新聞評論等，而他們通常會產(chǎn)生大批量的短文本信息資源。這些短文本涉及著人們生活的各個領域，也逐漸成為人們廣泛使用并且公認的交流方式，并且它也改變著人們的生活和溝通習慣。從這些數(shù)量龐大的短文本中挖掘其中所蘊含的潛在資源可以方便對它們進行管理、同時也可以用于信息的發(fā)現(xiàn)和分析。但是面對如此海量的短文本，人們很難快速的通過人工的辦法來獲取其

2、中所蘊含的信息資源，所以利用計算機技術來對短文本進行挖掘和分析具有重要的意義。文本聚類是自然語言處理中最基礎的技術，采用聚類技術對這些短文本進行分析和組織，能夠挖掘文本內部文字之間的聯(lián)系，進而有助于對這些信息的整體認識和管理。
　　但是對于短文本來說，短文本本身和長文本不一樣，它具有獨特的特征，如字數(shù)少，表達簡潔、缺乏豐富的上下文信息，包含的信息量有限，這使得短文本的特征稀疏，很難準確的抽取有效的文檔特征，加之傳統(tǒng)的文本聚類方法直

3、接在短文本上使用的效果不佳，因此，這對短文本的聚類研究帶來了更多的挑戰(zhàn)，同時也導致短文本聚類技術的發(fā)展相對緩慢。目前，針對短文本的文本聚類的困難基本上有:如何解決短文本的特征稀疏問題，如何改善短文本聚類的質量、以及如何描述聚簇結果。本文綜合的考慮了以上幾點，提出了基于BTM(BitermTopicModel)的短文本聚類方法。
　　本文主要工作:
　　(1)詳細闡述了短文本聚類的研究意義，研究難點和常用的解決方法，簡要介紹了

4、短文本聚類理論和關鍵技術，如預處理中的句子分詞和去停用詞、幾種重要的文本模型、聚類方法、聚類中涉及的相似度計算、聚類評價指標以及聚簇結果的描述等。
　　(2)詳細介紹了BTM(bitermtopicmodel)，分析和對比了BTM和LDA以及一元混合模型的異同，介紹了BTM語義空間及Gibbs抽樣的參數(shù)推理過程，實驗體現(xiàn)了基于BTM語義的文檔特征和文檔表示形式，從而證實了BTM在處理短文本稀疏問題上的有效性。
　　(3)將B

5、TM引入到短文本聚類，利用BTM訓練之后得到的文檔-主題的概率分布矩陣和主題-詞概率分布矩陣與傳統(tǒng)的利用TF-IDF進行詞權重計算的向量空間模型相結合，即將主題特征與詞特征結合，以此達到改善短文本聚類質量的效果。
　　(4)利用聚類的結果中各個聚簇文檔中的主題分布情況，結合BTM訓練之后的主題-詞特征空間，提出一種聚簇結果描述方法，利用這種方法可以對聚簇進行描述和直觀理解。
　　通過在百度知道語料庫上進行K-means聚類的