微博客主題分類的特征擴展方法.pdf

1、近些年來隨著互聯(lián)網(wǎng)高速發(fā)展,使得互聯(lián)網(wǎng)中的文本問題呈現(xiàn)向海量化發(fā)展的趨勢。于此同時,文本分類技術(shù)這種處理文本數(shù)據(jù)的關(guān)鍵技術(shù)也隨之向海量數(shù)據(jù)處理方向轉(zhuǎn)化。原來的文本分類技術(shù)主要指長文本分類,而現(xiàn)在大量的新類型信息產(chǎn)生,大量的短文本信息也隨之涌現(xiàn),如微博、web搜索片段、論壇和聊天信息、評價、電影和產(chǎn)品簡介等,人們的生活中短文本的應(yīng)用越來越多。其中以微博客(簡稱微博)近年來最為流行,它為廣大用戶提供了一種信息共享、信息傳播和信息獲取的交流平

2、臺,使用者可以通過多種方式登錄平臺,獲取個人感興趣信息,或者進行信息分享。面向中文微博客分類問題,本文的主要工作包含以下幾個方面:
　　首先,針對中文微博客這種短文本向量表示時的文本特征少,導(dǎo)致的特征稀疏性的問題,本文提出了一種依賴于“百度百科”的特征詞條解釋進行特征擴展的方法,通過抽取有效特征詞語在“百度百科”中的百科名片解釋,構(gòu)建特征詞到解釋語句的對應(yīng)關(guān)系。
　　其次,因為在使用百科名片解釋特征詞語時,可能出現(xiàn)一個特征詞

3、語對應(yīng)多個百科名片解釋語句,或者所有的百科名篇解釋語句都與待擴展特征詞語實際語境不相關(guān)的問題,設(shè)計了一種對這種特征擴展方法產(chǎn)生的噪音進行消除的方法。這種特征擴展結(jié)果噪音消除方法,通過計算每個解釋語句有效詞集對待擴展詞原始語句有效詞集的覆蓋率,以及每個解釋語句與待擴展詞原始語句總體詞集的匹配詞語覆蓋率。根據(jù)計算結(jié)果選擇準確的特征擴展結(jié)果,對特征擴展結(jié)果進行處理,得到解釋語句到最終特征擴展詞集的映射。
　　最后,本文使用微博客特征擴展