層次式協(xié)同聚類算法及模型選擇技術(shù)研究.pdf

1、隨著文本數(shù)據(jù)的急劇增長(zhǎng)，文本聚類方法已成為大家關(guān)注的熱點(diǎn)。文本數(shù)據(jù)常用文檔-詞矩陣表示，基于這種表示方法大多數(shù)傳統(tǒng)的聚類算法采用單向聚類方法，即要么只是對(duì)文檔進(jìn)行聚類，要么只是對(duì)詞進(jìn)行聚類，忽略了文檔與詞之間的相互關(guān)系?；谛畔⒄摰膮f(xié)同聚類算法 ITCC（Information Theoretic Co-clustering algorithm）將文檔-詞矩陣看作一個(gè)聯(lián)合概率分布，以最小化初始變量和聚類后的變量間的互信息損失為目標(biāo)函數(shù)，

2、同時(shí)對(duì)文檔和詞進(jìn)行聚類。這種方法從信息論的角度捕獲了文檔和詞之間的自然關(guān)系，對(duì)高維稀疏的文本數(shù)據(jù)起到很好的聚類效果。
　　本文在分析了協(xié)同聚類算法的優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了一些改進(jìn)方案，并進(jìn)行了大量的實(shí)驗(yàn)分析，完成了以下研究工作：
　?。?）本文提出了層次協(xié)同聚類算法HITCC（Hierarchical Information Theoretic Co-clustering），該算法結(jié)合了分裂的層次聚類的思想，將每一層的節(jié)點(diǎn)分

3、裂都看作一次協(xié)同聚類過程，而且在節(jié)點(diǎn)分裂時(shí)基于父親節(jié)點(diǎn)的協(xié)同聚類結(jié)果對(duì)文檔和詞同時(shí)分裂，然后使用互信息或者卡方檢驗(yàn)的方法作為停止條件控制樹的增長(zhǎng)。此方法不僅能發(fā)現(xiàn)存在子空間的簇，而且可以顯示簇與簇之間的層次關(guān)系，另外也避免了協(xié)同聚類算法確定行簇和列簇?cái)?shù)目的問題。通過實(shí)驗(yàn)證明，HITCC算法可以獲得比平面的協(xié)同聚類算法更好的聚類效果，而且與當(dāng)前經(jīng)典的文本層次聚類算法的效果相當(dāng)，甚至更好。
　　（2）本文基于HITCC算法又提出了其改

4、進(jìn)算法——基于模型選擇的層次式聚類算法MS-HITCC（Model Selection-HITCC）。該算法在層次樹的每一層只是按照協(xié)同聚類結(jié)果對(duì)文檔進(jìn)行分裂，保留父親節(jié)點(diǎn)所有的詞。在進(jìn)入下一層協(xié)同聚類前，使用特征選擇的方法選擇一部分詞進(jìn)行聚類。這樣的操作可以在分裂過程中保留重要詞的信息，有利于聚類過程的進(jìn)行?；诖瞬僮?，MS-HITCC算法將多項(xiàng)式混合模型應(yīng)用于層次式協(xié)同聚類方法中，并且使用AIC或者BIC的方法進(jìn)行模型選擇，從而避免