詞聚類用于文本分類的方法研究.pdf

1、短文本分類問(wèn)題是基于短文本應(yīng)用領(lǐng)域的必須解決的具有挑戰(zhàn)性的基礎(chǔ)性關(guān)鍵問(wèn)題之一。由于短文本具有長(zhǎng)度短、所描述概念信號(hào)弱的固有缺陷,短文本分類的可行途徑是利用外部資源中的可用信息來(lái)擴(kuò)展短文本所描述的概念。
　　 通過(guò)詞聚類方法可以建立詞語(yǔ)對(duì)之間的語(yǔ)義關(guān)系,進(jìn)而用來(lái)擴(kuò)展短文本所描述的概念,因此它是用于改善文本分類、特別是短文本分類的有效手段之一。詞聚類用于短文本分類時(shí)存在兩個(gè)必須解決的問(wèn)題:
　　 (1)在語(yǔ)料類別不平衡時(shí),如

2、何有效地在分類過(guò)程中利用詞聚類技術(shù)?這需要開發(fā)一種考慮語(yǔ)料類別不平衡條件下的特征選擇方法,從而使詞聚類技術(shù)能夠較好的用于文本分類。
　　 (2)在短文本中,低頻詞語(yǔ)所占比例較大,在詞聚類技術(shù)中所采用的常規(guī)相似度計(jì)算方法無(wú)效。這需要研究一種適合于短文本分類的低頻詞語(yǔ)相似度計(jì)算方法。
　　 對(duì)第一個(gè)問(wèn)題,本文提出一種中文文本分類的兩步特征選擇方法,首先根據(jù)詞語(yǔ)的類間分布進(jìn)行區(qū)分詞的定義,選出區(qū)分度較大的詞作為某一類別的核心特

3、征,然后用傳統(tǒng)的特征選擇方法從每個(gè)類別的核心特征中選出最佳特征子集,最后將各個(gè)特征子集合并起來(lái)作為結(jié)果。該方法不僅重點(diǎn)選出類別區(qū)分能力較強(qiáng)的特征,還盡可能保留傳統(tǒng)特征選擇方法選出的優(yōu)秀特征,從而更好地捕獲了分類信息。實(shí)驗(yàn)結(jié)果證明該方法明顯優(yōu)于傳統(tǒng)的特征選擇方法。
　　 對(duì)第二個(gè)問(wèn)題,本文提出了一種低頻詞語(yǔ)相似度計(jì)算的方法。該方法利用語(yǔ)義資源《知網(wǎng)》和基于Internet的構(gòu)造語(yǔ)料進(jìn)行相似度計(jì)算:對(duì)那些能夠在《知網(wǎng)》中查到的詞對(duì),