微博自動分類方法研究及應用.pdf

1、微博是近幾年興起的一種網(wǎng)絡交流與信息分享平臺,中國微博網(wǎng)民注冊用戶已經(jīng)超過3億,由于微博自身的傳播性質(zhì)以及信息內(nèi)容產(chǎn)生的速度,每個用戶都越來越需要應對信息泛濫的考驗,同時每個用戶微博主頁上的信息雜亂無章,平臺本身沒有設置為微博進行自動分類的功能,使用戶不能第一時間查看自己最關注的、最感興趣的微博。本文將對微博文本進行分類研究,并在此基礎上，結合微博用戶興趣對微博分類進行應用分析。
　　首先通過對國內(nèi)外文本分類領域的研究現(xiàn)狀和研究成

2、果進行分析,總結微博分類與文本分類兩者之間異同點,并針對這些異同點進行對比分析,從而找出解決微博文本分類中存在問題的方法。然后通過對大量的微博數(shù)據(jù)進行觀察分析,歸納總結微博的類型、文本結構以及微博編輯的語言特點,并在此基礎上對微博文本的相關要素進行定義及完成對微博數(shù)據(jù)模型的構建,接下來設計了微博數(shù)據(jù)的收集與存儲策略,并最終確定微博文本的分詞方法。其次通過分析四大門戶網(wǎng)站內(nèi)類別的分布情況,基于四大門戶網(wǎng)站內(nèi)的頻道欄目信息以及新浪微博平臺內(nèi)

3、的類別層次結構對微博文本的類別體系進行定義與說明,在此類別體系的基礎上利用網(wǎng)頁文本構建相應類別的類別特征模式庫,并根據(jù)特征庫內(nèi)的結構及詞匯特點,設計特征庫調(diào)整算法用以剔除不同特征庫內(nèi)的重復詞及不相關的詞匯,以使每個特征庫內(nèi)包含的特征詞與類別名稱一致。最后通過提出一種微博文本特征詞與特征庫內(nèi)特征詞相匹配的分類算法對微博進行自動類別標識,利用微博數(shù)據(jù)來驗證分類算法的有效性和可行性,并在分類算法的基礎上結合用戶使用微博的興趣來對微博分類進行應