利用單詞超團(tuán)的二分圖文本聚類算法.pdf

1、自九十年代產(chǎn)生以來，數(shù)據(jù)挖掘技術(shù)的研究已經(jīng)比較深入，研究范圍涉及到關(guān)聯(lián)分析、分類分析、聚類分析、趨勢分析等多個方面。在常見的非結(jié)構(gòu)化數(shù)據(jù)如文本、圖像、視頻中，文本數(shù)據(jù)是應(yīng)用最為廣泛的一種形式，因此文本挖掘成為了數(shù)據(jù)挖掘領(lǐng)域中的一個重要組成部分。 本文通過對傳統(tǒng)信息檢索技術(shù)中文本挖掘的介紹，在傳統(tǒng)的文本挖掘基礎(chǔ)上提出了一種新型的、更有效的聚類算法——基于單詞超團(tuán)的二分圖聚類算法。超團(tuán)是一種特殊的頻繁項集，其中附加了整體相似度的約束

2、，利用超團(tuán)的這種特性，將其應(yīng)用于文本聚類，在給定的文本集中挖掘單詞最大超團(tuán)，可以保證每個單詞超團(tuán)內(nèi)部任意兩個元素的相似度不低于事先給定的下界，從某種意義上來講保留了文檔中的簡單語意。因此將單詞超團(tuán)作為文本向量的擴(kuò)展特征在聚類過程中加以使用，能夠保證在聚類過程中提高結(jié)果的準(zhǔn)確性。 本文完成了理論的提出和對整個過程的設(shè)計和實現(xiàn)，其中利用單詞超團(tuán)集合進(jìn)行文本聚類的方法劃分為三個步驟：挖掘最大單詞超團(tuán)集合，構(gòu)成二分圖結(jié)構(gòu)和對圖進(jìn)行劃分。