短文本分類中高品質(zhì)特征模式抽取及擴展策略研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊產(chǎn)業(yè)的快速發(fā)展，各種形式的信息撲面而來。而短文本(通常文本長度小于160字符)作為手機短信息、在線即時聊天記錄、論壇用戶評論等信息的主要表現(xiàn)形式，已經(jīng)成為網(wǎng)絡(luò)中大眾信息傳播的重要渠道。短文本分類技術(shù)，它是基于內(nèi)容分析將短文本分派到預先定義的類別中，在信息安全和商業(yè)信息獲取等領(lǐng)域具有重要的應用前景。由于短文本具有長度短、所描述概念信號弱的固有缺陷，使當前主流文本分類技術(shù)用于短文本時，分類器性能變壞。解決上述問題的一種可行性

2、途徑是利用額外信息來輔助短文本分類。
　　 本文利用關(guān)聯(lián)分析理論，從訓練語料集中挖掘出具有關(guān)聯(lián)關(guān)系的特征詞語組合，構(gòu)成特征擴展模式，用于對短文本進行特征擴展，以彌補其概念信號弱的固有缺陷，通過對先對文本信息對象進行特征擴展處理，進而將其分類成屬于某個種類還是不屬于某個種類。本文的核心和貢獻在于：⑴提出一種構(gòu)造高品質(zhì)特征擴展模式庫的方法。選擇關(guān)聯(lián)分析理論作為挖掘工具，用來發(fā)現(xiàn)隱藏在訓練數(shù)據(jù)集中的具有關(guān)聯(lián)關(guān)系的特征組合并形成短文本的

3、特征擴展模式，進而構(gòu)造出一個高品質(zhì)的特征擴展模式庫。針對簡單特征擴展模式不適用于短文本分類的問題，本文引入了新的特征擴展模式度量指標，即：類別趨同性(Category Homoplasy)、關(guān)聯(lián)強度(Relevancy Strength)，用來提高特征模式品質(zhì)，從而保證了用來輔助短文本分類的額外信息的準確性。⑵提出一種利用高品質(zhì)特征擴展模式的中文短文本分類方法。該方法是在分類階段，先對短文本進行特征擴展，即將文本信息對象中的非精簡特征作