中文短文本分類的相關(guān)技術(shù)研究.pdf

1、隨著搜索引擎、電子郵件、微型博客和觀點評論等短文本信息在互聯(lián)網(wǎng)范圍內(nèi)的大量出現(xiàn)，有關(guān)短文本的相關(guān)研究逐步受到人們的關(guān)注。目前的文本分類技術(shù)多是針對長文本進(jìn)行，雖然性能較好但由于短文本字?jǐn)?shù)少、數(shù)量龐大，并多數(shù)依存于網(wǎng)絡(luò)，并不一定適用。國內(nèi)針對短文本的研究多集中在語義擴展、特征處理等方面，并沒有特別深入系統(tǒng)的研究。
　　 本文對短文本的涵蓋范圍、特點及研究領(lǐng)域進(jìn)行了詳細(xì)的分析研究，并對相關(guān)的研究現(xiàn)狀和關(guān)鍵技術(shù)進(jìn)行介紹。針對短文本特征

2、稀疏等特點，考慮到傳統(tǒng)的分詞會因為詞匯量稀少而丟掉重要的語義信息，本文采用“字”作為短文本的特征進(jìn)行表示，并結(jié)合共現(xiàn)分析概念提出了基于字共現(xiàn)的特征提取方法。該方法在傳統(tǒng)詞頻統(tǒng)計的基礎(chǔ)上加入文本中字與字之間的共現(xiàn)信息量，使得特征字能夠更全面地表達(dá)出短文本語義信息，通過實驗證明該方法能夠明顯提高短文本的分類準(zhǔn)確率。
　　 有實驗證明在諸多分類算法中，K近鄰（KNN）和支持向量機（SVM）對短文本的分類效果最好。由于短文本數(shù)量龐大，本

3、文采用KNN分類算法并加以改進(jìn)。因KNN算法在分類前需要把所有訓(xùn)練文本存儲起來與待測樣本進(jìn)行比對，計算量比較大，本文提出了一種改進(jìn)的基于近似域KNN分類方法。該方法事先對訓(xùn)練集中各類別進(jìn)行區(qū)域劃分，確定類別中心域和近似域的范圍，然后根據(jù)待測樣本到各類中心向量之間的距離，判定樣本在各個類別中的分布情況。只針對處于類別近似域內(nèi)的樣本再利用KNN算法進(jìn)行分類，縮小KNN的搜索范圍，進(jìn)而提高分類的速度和準(zhǔn)確率。同時，為減少樣本誤判率，對處于各類