中文短文本分類技術(shù)的研究與實現(xiàn).pdf

1、文本分類是文本挖掘領(lǐng)域的一門重要學(xué)科，是指在已知的分類體系中，根據(jù)已知文本內(nèi)容自動確定未知文本類別的過程，文本分類在一定程度上幫助用戶處理獲得的雜亂信息，有助于用戶根據(jù)自己的傾向有選擇地閱讀海量的文本。目前多數(shù)情況下，文本分類大多是對于長文本進(jìn)行分類，所處理的文本包含比較多的信息。然而，隨著互聯(lián)網(wǎng)的飛速發(fā)展，越來越多的短文本出現(xiàn)在生活中，由于短文本包含的信息量有限，傳統(tǒng)的處理長文本的分類方法并不能很好用于處理短文本。
　　本文首先

2、總結(jié)了國內(nèi)外針對短文本分類技術(shù)的研究現(xiàn)狀，現(xiàn)有的短文本分類方法大多需要背景知識庫的支持，但是這些分類方法的普適性不是很強(qiáng)，而且處理背景知識庫需要耗費大量的精力。常見的短文本主要有論壇發(fā)帖、產(chǎn)品評論、手機(jī)短信以及微博等等。與傳統(tǒng)長文本相比較，短文本具有自己鮮明的特點，比如長度很短、用詞不規(guī)范、新詞不斷出現(xiàn)等等。對短文本進(jìn)行分類研究具有重要現(xiàn)實意義，與長文本相比較，短文本具有自己的突出特點，本文提出了基于搜索引擎和LDA主題模型的短文本分類

3、方法。
　　然后，本文討論了傳統(tǒng)文本分類過程中重要的技術(shù)方法。包括文本的預(yù)處理，文本向量化表示，特征提取方法，常用分類方法等。同時指出這些方法需要改進(jìn)的地方以便用于短文本的分類處理。
　　接著，文章介紹了LDA主題模型。并在主題模型的基礎(chǔ)上結(jié)合搜索引擎，對短文本進(jìn)行擴(kuò)充處理和向量化表示。通過實驗驗證，本文提出的方法能夠有效表示短文本，提高短文本分類的效果。
　　相信隨著短文本分類技術(shù)不斷的發(fā)展完善，短文本分類對于政府決