層次式協(xié)同聚類算法及模型選擇技術研究.pdf

1、隨著文本數據的急劇增長，文本聚類方法已成為大家關注的熱點。文本數據常用文檔-詞矩陣表示，基于這種表示方法大多數傳統(tǒng)的聚類算法采用單向聚類方法，即要么只是對文檔進行聚類，要么只是對詞進行聚類，忽略了文檔與詞之間的相互關系?；谛畔⒄摰膮f(xié)同聚類算法 ITCC（Information Theoretic Co-clustering algorithm）將文檔-詞矩陣看作一個聯合概率分布，以最小化初始變量和聚類后的變量間的互信息損失為目標函數，

2、同時對文檔和詞進行聚類。這種方法從信息論的角度捕獲了文檔和詞之間的自然關系，對高維稀疏的文本數據起到很好的聚類效果。
　　本文在分析了協(xié)同聚類算法的優(yōu)缺點的基礎上，提出了一些改進方案，并進行了大量的實驗分析，完成了以下研究工作：
　?。?）本文提出了層次協(xié)同聚類算法HITCC（Hierarchical Information Theoretic Co-clustering），該算法結合了分裂的層次聚類的思想，將每一層的節(jié)點分

3、裂都看作一次協(xié)同聚類過程，而且在節(jié)點分裂時基于父親節(jié)點的協(xié)同聚類結果對文檔和詞同時分裂，然后使用互信息或者卡方檢驗的方法作為停止條件控制樹的增長。此方法不僅能發(fā)現存在子空間的簇，而且可以顯示簇與簇之間的層次關系，另外也避免了協(xié)同聚類算法確定行簇和列簇數目的問題。通過實驗證明，HITCC算法可以獲得比平面的協(xié)同聚類算法更好的聚類效果，而且與當前經典的文本層次聚類算法的效果相當，甚至更好。
　?。?）本文基于HITCC算法又提出了其改

4、進算法——基于模型選擇的層次式聚類算法MS-HITCC（Model Selection-HITCC）。該算法在層次樹的每一層只是按照協(xié)同聚類結果對文檔進行分裂，保留父親節(jié)點所有的詞。在進入下一層協(xié)同聚類前，使用特征選擇的方法選擇一部分詞進行聚類。這樣的操作可以在分裂過程中保留重要詞的信息，有利于聚類過程的進行?；诖瞬僮鳎琈S-HITCC算法將多項式混合模型應用于層次式協(xié)同聚類方法中，并且使用AIC或者BIC的方法進行模型選擇，從而避免